《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 人工智能 > 業(yè)界動(dòng)態(tài) > 【ChatGPT專題】張家俊教授:ChatGPT八大技術(shù)問(wèn)題猜想

【ChatGPT專題】張家俊教授:ChatGPT八大技術(shù)問(wèn)題猜想

2023-02-17
作者:張家俊教授
來(lái)源:知乎
關(guān)鍵詞: ChatGPT NLP

  看到ChatGPT的華麗誕生,心情很復(fù)雜,既高興、驚喜,也感到恐慌,高興和驚喜的是沒(méi)有預(yù)料到這么快就見(jiàn)證了自然語(yǔ)言處理(NLP)技術(shù)的重大突破,體驗(yàn)到通用技術(shù)的無(wú)限魅力。恐慌的是ChatGPT幾乎可以高質(zhì)量地完成NLP中的大多數(shù)任務(wù),逐漸認(rèn)識(shí)到很多NLP的研究方向遇到了極大挑戰(zhàn)。

  總體而言,ChatGPT最令人非常驚艷的是它的通用性,相比于GPT-3需要通過(guò)設(shè)計(jì)非常精巧的提示來(lái)實(shí)現(xiàn)效果并不太好的各種NLP能力,ChatGPT已經(jīng)讓用戶感受不到提示的存在。作為一個(gè)對(duì)話系統(tǒng),ChatGPT讓用戶自然提問(wèn)便可實(shí)現(xiàn)從理解到生成的各種任務(wù),而且性能在開放領(lǐng)域幾乎都達(dá)到了當(dāng)前最佳水平,很多任務(wù)超越了針對(duì)特定任務(wù)單獨(dú)設(shè)計(jì)的模型,并且在代碼編程領(lǐng)域表現(xiàn)卓越。具體而言,自然語(yǔ)言理解能力(尤其是用戶意圖理解能力)十分突出,無(wú)論是問(wèn)答、聊天、分類、摘要、翻譯等任務(wù),盡管回復(fù)不一定完全正確,但是幾乎都能夠領(lǐng)會(huì)用戶意圖,理解能力遠(yuǎn)超預(yù)期。相比于理解能力,ChatGPT的生成能力更加強(qiáng)大,可以針對(duì)各種問(wèn)題生成具有一定邏輯且多樣化的長(zhǎng)文本。總的來(lái)說(shuō),ChatGPT表現(xiàn)出的更多是驚艷,是通向AGI的初步階段,一些技術(shù)瓶頸解決后會(huì)更加強(qiáng)大。

  對(duì)于ChatGPT表現(xiàn)案例的總結(jié)已經(jīng)非常多了,這里主要總結(jié)一下自己對(duì)ChatGPT技術(shù)問(wèn)題的一些思考,算是與ChatGPT斷斷續(xù)續(xù)交互兩個(gè)多月的一個(gè)簡(jiǎn)單總結(jié)。由于無(wú)法了解ChatGPT的具體實(shí)現(xiàn)技術(shù)和細(xì)節(jié),所以幾乎都是主觀猜想,肯定有很多不對(duì)的地方,歡迎一起探討。

  1. ChatGPT的通用性為何做得如此之好?

  只要使用過(guò)ChatGPT,我們就會(huì)發(fā)現(xiàn)它不是一個(gè)傳統(tǒng)意義上的人機(jī)對(duì)話系統(tǒng),實(shí)際是一個(gè)以自然語(yǔ)言為交互方式的通用語(yǔ)言處理平臺(tái)。2020年的GPT-3雖然擁有了通用能力的雛形,但是需要精心設(shè)計(jì)提示語(yǔ)來(lái)觸發(fā)相應(yīng)功能,而ChatGPT允許用戶采用非常自然的提問(wèn)就可以準(zhǔn)確識(shí)別意圖完成各種功能。傳統(tǒng)方法往往先進(jìn)行用戶意圖識(shí)別,再針對(duì)不同意圖調(diào)用相應(yīng)功能的處理模塊,例如通過(guò)用戶數(shù)據(jù)識(shí)別出摘要或翻譯意圖,再調(diào)用文本摘要或機(jī)器翻譯模型。傳統(tǒng)方法在開放域的意圖識(shí)別準(zhǔn)確率不夠理想,而且不同功能模塊各自為戰(zhàn)無(wú)法共享信息,難以形成強(qiáng)大的NLP通用平臺(tái)。ChatGPT突破了各自為戰(zhàn)的模式,不再區(qū)分不同功能,統(tǒng)一認(rèn)為是對(duì)話過(guò)程中的一種特定需求。那么,ChatGPT的通用性為何做得如此之好呢?一直在思考這個(gè)問(wèn)題,由于沒(méi)有條件實(shí)驗(yàn)證實(shí),所以僅能猜想。根據(jù)Google的Instruction Tuning研究工作FLAN,當(dāng)模型達(dá)到一定規(guī)模(e.g. 68B)且Instruction任務(wù)的類型達(dá)到一定數(shù)目(e.g. 40),模型就涌現(xiàn)出對(duì)新意圖的識(shí)別能力。OpenAI從其開放的API中收集了全球用戶各種任務(wù)類型的對(duì)話數(shù)據(jù),根據(jù)意圖分類和標(biāo)注,然后在175B參數(shù)GPT-3.5上進(jìn)行Instruction Tuning,自然就涌現(xiàn)出了通用的意圖識(shí)別能力。

  2. 為什么面向?qū)υ挼奈⒄{(diào)沒(méi)有遭遇災(zāi)難性遺忘問(wèn)題?

  災(zāi)難性遺忘問(wèn)題一直是深度學(xué)習(xí)中的一個(gè)挑戰(zhàn),經(jīng)常因?yàn)樵谀硞€(gè)任務(wù)上訓(xùn)練后就喪失了在其他任務(wù)上的性能。例如,一個(gè)30億參數(shù)的基礎(chǔ)模型,先在自動(dòng)問(wèn)答數(shù)據(jù)上進(jìn)行微調(diào),然后在多輪對(duì)話數(shù)據(jù)上進(jìn)行微調(diào),結(jié)果會(huì)發(fā)現(xiàn)模型的問(wèn)答能力大幅度下降。ChatGPT似乎不存在這個(gè)問(wèn)題,其在基礎(chǔ)模型GPT-3.5上進(jìn)行了兩次微調(diào),第一次依據(jù)人工標(biāo)注的對(duì)話數(shù)據(jù)進(jìn)行微調(diào),第二次根據(jù)人類反饋的強(qiáng)化學(xué)習(xí)進(jìn)行微調(diào),微調(diào)使用的數(shù)據(jù)很少,尤其是人類反饋的打分排序數(shù)據(jù)更少,微調(diào)后竟然仍然表現(xiàn)出強(qiáng)大的通用能力,而并沒(méi)有完全過(guò)擬合到對(duì)話任務(wù)。這是個(gè)非常有趣的現(xiàn)象,也是我們沒(méi)有條件驗(yàn)證的現(xiàn)象。猜測(cè)可能有兩方面的原因,一方面是ChatGPT使用的對(duì)話微調(diào)數(shù)據(jù)實(shí)際可能包含了非常全面的NLP各種任務(wù),正如InstructGPT中對(duì)用戶使用API的問(wèn)題分類可以發(fā)現(xiàn),很多都不是簡(jiǎn)單的對(duì)話,還有分類、問(wèn)答、摘要、翻譯、代碼生成等等,因此,ChatGPT實(shí)際是對(duì)若干任務(wù)同時(shí)進(jìn)行了微調(diào);另一方面,可能當(dāng)基礎(chǔ)模型足夠大之后,在較小數(shù)據(jù)上的微調(diào)不會(huì)對(duì)模型產(chǎn)生很大影響,可能僅在基礎(chǔ)模型參數(shù)空間非常小的鄰域中優(yōu)化,所以不會(huì)顯著影響基礎(chǔ)模型的通用能力。

  3. ChatGPT的大范圍上下文連續(xù)對(duì)話能力是如何做到的?

  使用ChatGPT時(shí)就會(huì)發(fā)現(xiàn)它一個(gè)讓人十分驚訝的能力,即使和ChatGPT交互了十多輪,它仍然還記得第一輪的信息,而且能夠根據(jù)用戶意圖比較準(zhǔn)確地識(shí)別省略、指代等細(xì)粒度語(yǔ)言現(xiàn)象。這些對(duì)我們?nèi)藖?lái)說(shuō)似乎不算問(wèn)題,但是在NLP的研究歷史中,省略、指代等問(wèn)題一直是一個(gè)難以逾越的挑戰(zhàn)。此外,在傳統(tǒng)對(duì)話系統(tǒng)中,對(duì)話輪次多了之后,話題的一致性難以保障。但是,ChatGPT幾乎不存在這個(gè)問(wèn)題,即使輪次再多,似乎都可以保持對(duì)話主題的一致性和專注度。猜測(cè)這個(gè)能力可能有三方面的來(lái)源。首先,高質(zhì)量的多輪對(duì)話數(shù)據(jù)是基礎(chǔ)和關(guān)鍵,正如Google的LaMDA,OpenAI也采用人工標(biāo)注的方式構(gòu)造了大量高質(zhì)量多輪對(duì)話數(shù)據(jù),在此之上進(jìn)行的微調(diào)將會(huì)激發(fā)模型的多輪對(duì)話能力。其次,基于人類反饋的強(qiáng)化學(xué)習(xí)因?yàn)樘嵘四P突貜?fù)的擬人性,也會(huì)間接增強(qiáng)模型多輪對(duì)話的一致性能力。最后,模型對(duì)8192個(gè)語(yǔ)言單元(Token)的顯式建模能力使其幾乎可以記憶普通人一整天的對(duì)話數(shù)據(jù),在一次對(duì)話交流中很難超出這個(gè)長(zhǎng)度,因此,所有對(duì)話歷史都已經(jīng)被有效記憶,從而可以顯著提升連續(xù)多輪對(duì)話的能力。

  4. ChatGPT的交互修正能力是如何煉成的?

  交互修正能力是智能的一種高級(jí)體現(xiàn),對(duì)我們來(lái)人說(shuō)稀松平常的事情卻是機(jī)器的痛點(diǎn)。在交流過(guò)程中,被指出問(wèn)題后我們會(huì)立刻意識(shí)到問(wèn)題所在并及時(shí)準(zhǔn)確地修正相關(guān)信息。對(duì)于機(jī)器而言,意識(shí)到問(wèn)題、識(shí)別問(wèn)題范圍并更正對(duì)應(yīng)信息的每一步都不是一件容易的事情。ChatGPT出現(xiàn)之前尚未看到過(guò)具有較強(qiáng)交互修正能力的通用模型。與ChatGPT交互后就會(huì)發(fā)現(xiàn),無(wú)論是用戶更改自己之前的說(shuō)法還是指出ChatGPT的回復(fù)中存在的問(wèn)題,ChatGPT都能夠捕捉到修改意圖,并準(zhǔn)確識(shí)別出需要修改的部分,最后能夠做出正確的修正。目前為止,沒(méi)有發(fā)現(xiàn)任何模型相關(guān)的因素與交互修正能力直接相關(guān),也不相信ChatGPT具有實(shí)時(shí)學(xué)習(xí)的能力,一方面是重啟對(duì)話后ChatGPT可能還會(huì)犯相同錯(cuò)誤,另一方面是基礎(chǔ)大模型的優(yōu)化學(xué)習(xí)從來(lái)都是從高頻數(shù)據(jù)中總結(jié)頻繁模式,一次對(duì)話無(wú)論如何也難以更新基礎(chǔ)模型。相信更多的是基礎(chǔ)語(yǔ)言大模型的一種歷史信息處理技巧,不太確定的因素可能包括:(1)OpenAI人工構(gòu)建的對(duì)話數(shù)據(jù)中包含一些交互修正的案例,微調(diào)后擁有了這樣的能力;(2)人工反饋的強(qiáng)化學(xué)習(xí)使得模型輸出更加符合人類偏好,從而在信息修正這類對(duì)話中表現(xiàn)得更加遵循人類的修正意圖;(3)可能大模型達(dá)到一定規(guī)模(e.g. 60B)之后,原始訓(xùn)練數(shù)據(jù)中的交互修正案例就被學(xué)到了,模型交互修正的能力自然就涌現(xiàn)出來(lái)了。

  5. ChatGPT的邏輯推理能力是如何學(xué)到的?

  當(dāng)我們?cè)儐?wèn)ChatGPT一些邏輯推理相關(guān)的問(wèn)題時(shí),它并不是直接給出答案,而是展示出詳細(xì)的邏輯推理步驟,最后給出推理結(jié)果。雖然雞兔同籠等很多案例表明ChatGPT并沒(méi)有學(xué)會(huì)推理本質(zhì),而僅僅學(xué)會(huì)了推理的表面邏輯,但是展示的推理步驟和框架基本是正確的。一個(gè)語(yǔ)言模型能夠?qū)W習(xí)到基本的邏輯推理模式已經(jīng)極大超越了預(yù)期,其推理能力溯源是非常有趣的一個(gè)問(wèn)題。相關(guān)對(duì)比研究發(fā)現(xiàn),當(dāng)模型足夠大,并且程序代碼與文本數(shù)據(jù)混合訓(xùn)練時(shí),程序代碼的完整邏輯鏈就會(huì)遷移泛化到語(yǔ)言大模型,從而大模型就擁有了一定的推理能力。這種推理能力的習(xí)得有點(diǎn)神奇,但是也能理解,可能代碼注釋是從邏輯代碼到語(yǔ)言大模型推理能力遷移泛化的橋梁。多語(yǔ)言能力應(yīng)該也是類似的道理。ChatGPT的訓(xùn)練數(shù)據(jù)絕大部分是英文,中文數(shù)據(jù)占比極少,然而我們發(fā)現(xiàn)ChatGPT的中文能力雖然比不上英文,但是也非常強(qiáng)大。訓(xùn)練數(shù)據(jù)中的一些中英對(duì)照的平行數(shù)據(jù)可能就是英文能力遷移到中文能力的橋梁。

  6. ChatGPT是否針對(duì)不同下游任務(wù)采用不同的解碼策略?

  ChatGPT有許多驚艷的表現(xiàn),其中一個(gè)是它可以針對(duì)同一個(gè)問(wèn)題生成多種不同的回復(fù),顯得很睿智。比如,我們不滿意ChatGPT的回答,可以點(diǎn)擊“重新生成”按鈕,它立刻會(huì)生成另一種回復(fù),若還是不滿意可以繼續(xù)讓其重新生成。這一點(diǎn)在NLP領(lǐng)域并不神秘,對(duì)于語(yǔ)言模型來(lái)說(shuō)是它的一個(gè)基本能力,也就是采樣解碼。一個(gè)文本片段的后面可能接不同的詞語(yǔ),語(yǔ)言模型會(huì)計(jì)算每個(gè)詞語(yǔ)出現(xiàn)的概率,如果解碼策略選擇概率最大的詞語(yǔ)輸出,那么每次結(jié)果都是確定的,就無(wú)法生成多樣性回復(fù)。如果按照詞匯輸出的概率分布進(jìn)行采樣,例如,“策略”的概率是0.5,“算法”的概率是0.3,然后采樣解碼輸出“策略”的可能性就是50%,輸出“算法”的可能性就是30%,從而保證了輸出的多樣性。因?yàn)椴蓸舆^(guò)程是按照概率分布進(jìn)行的,即使輸出結(jié)果多樣,但是每一次都是選擇概率較大的結(jié)果,所以多種結(jié)果看起來(lái)都相對(duì)比較合理。對(duì)比不同類型的任務(wù)時(shí),我們會(huì)發(fā)現(xiàn)ChatGPT的回復(fù)多樣性針對(duì)不同下游任務(wù)差別比較大。針對(duì)“如何”、“為什么”等“How”、“Why”型任務(wù)時(shí),重新生成的回復(fù)與之前的回復(fù)無(wú)論是表達(dá)方式還是具體內(nèi)容具有較大差異,針對(duì)機(jī)器翻譯、數(shù)學(xué)應(yīng)用題等“What”型任務(wù)時(shí),不同回復(fù)之間的差異非常細(xì)微,有時(shí)幾乎沒(méi)有變化。如果都是依據(jù)概率分布的采樣解碼,為何不同回復(fù)之間的差異如此之小。猜測(cè)一種理想情況可能是“What”型任務(wù)基礎(chǔ)大模型學(xué)習(xí)到的概率分布非常尖銳(Sharp),例如學(xué)到的“策略”概率為0.8,“算法”概率為0.1,所以大多數(shù)時(shí)候采樣到相同的結(jié)果,也就是前面例子中80%的可能性都會(huì)采樣到“策略”;“How”、“Why”型任務(wù)基礎(chǔ)大模型學(xué)習(xí)到的概率分布比較平滑(Smooth),例如“策略”概率為0.4,“算法”概率為0.3,所以不同時(shí)候可以采樣到差異性較大的結(jié)果。如果ChatGPT能夠?qū)W習(xí)到任務(wù)相關(guān)的非常理想的概率分布,那確實(shí)非常厲害,基于采樣的解碼策略就可以適用于所有任務(wù)。通常,關(guān)于機(jī)器翻譯、數(shù)學(xué)計(jì)算、事實(shí)性問(wèn)答等答案比較確定或者100%確定的任務(wù),一般采用基于貪婪解碼,也就是每次輸出概率最高的詞語(yǔ)。如果希望輸出相同語(yǔ)義的多樣性輸出,大多采用基于柱搜索的解碼方法,但較少采用基于采樣的解碼策略。從與ChatGPT的交互看,所有任務(wù)它似乎都采用了基于采樣的解碼方法,真是暴力美學(xué)。

  7. ChatGPT能否解決事實(shí)可靠性問(wèn)題?

  答案缺乏可靠性是目前ChatGPT面臨的最大挑戰(zhàn)。特別是針對(duì)事實(shí)性和知識(shí)性相關(guān)的問(wèn)答,ChatGPT有時(shí)候會(huì)一本正經(jīng)地胡編亂造,生成虛假信息。即使讓它給出來(lái)源和出處或者參考文獻(xiàn),ChatGPT通常也會(huì)生成一個(gè)不存在的網(wǎng)址或者從未發(fā)表過(guò)的文獻(xiàn)。不過(guò),ChatGPT通常會(huì)給用戶一種比較好的感覺(jué),也就是很多事實(shí)和知識(shí)它似乎都知道。實(shí)際上,ChatGPT就是一個(gè)語(yǔ)言大模型,語(yǔ)言大模型本質(zhì)就是一種深度神經(jīng)網(wǎng)絡(luò),深度神經(jīng)網(wǎng)絡(luò)本質(zhì)就是一種統(tǒng)計(jì)模型,就是從高頻數(shù)據(jù)中習(xí)得相關(guān)模式。很多常見(jiàn)的知識(shí)或事實(shí),在訓(xùn)練數(shù)據(jù)中出現(xiàn)頻率高,上下文之間的模式比較固定,預(yù)測(cè)的詞語(yǔ)概率分布就比較尖銳,熵比較小,大模型容易記住,并在解碼過(guò)程中輸出正確的事實(shí)或知識(shí)。但是,有很多事件和知識(shí)即使在非常龐大的訓(xùn)練數(shù)據(jù)中也很少出現(xiàn),大模型便無(wú)法學(xué)習(xí)到相關(guān)模式,上下文之間的模式比較松散,詞語(yǔ)預(yù)測(cè)的概率分布比較平滑,熵比較大,大模型在推理過(guò)程中容易產(chǎn)生不確定性的隨機(jī)輸出。這是包括ChatGPT在內(nèi)所有生成式模型的固有問(wèn)題。如果仍然延續(xù)GPT系列架構(gòu),基礎(chǔ)模型不做改變,從理論上講是難以解決ChatGPT回復(fù)的事實(shí)可靠性問(wèn)題。和搜索引擎的結(jié)合目前看是非常務(wù)實(shí)的一種方案,搜索引擎負(fù)責(zé)搜索可靠的事實(shí)信息來(lái)源,ChatGPT負(fù)責(zé)總結(jié)和歸納。如果希望ChatGPT解決事實(shí)回答的可靠性問(wèn)題,可能需要進(jìn)一步提升模型的拒識(shí)能力,也就是過(guò)濾掉模型確定無(wú)法回答的那些問(wèn)題,同時(shí)還需要事實(shí)驗(yàn)證模塊來(lái)驗(yàn)證ChatGPT回復(fù)的正確性。希望下一代GPT能夠在這個(gè)問(wèn)題上取得突破。

  8. ChatGPT能否實(shí)現(xiàn)實(shí)時(shí)信息的學(xué)習(xí)?

  ChatGPT的交互修正能力使得它看起來(lái)似乎擁有了實(shí)時(shí)的自主學(xué)習(xí)能力。正如上述討論,ChatGPT可以依據(jù)用戶提供的修改意圖或者更正信息,立刻修正相關(guān)回復(fù),表現(xiàn)出實(shí)時(shí)學(xué)習(xí)的能力。實(shí)則不然,學(xué)習(xí)能力體現(xiàn)的是學(xué)到的知識(shí)是普適的,可以運(yùn)用在其他時(shí)間和其他場(chǎng)合,但是ChatGPT并沒(méi)有展現(xiàn)出這個(gè)能力。ChatGPT只是在當(dāng)前的對(duì)話中能夠根據(jù)用戶反饋進(jìn)行了修正,當(dāng)我們重啟一個(gè)對(duì)話,測(cè)試相同的問(wèn)題時(shí),ChatGPT還會(huì)犯相同或類似的錯(cuò)誤。一個(gè)疑問(wèn)是為何ChatGPT不將修改后正確的信息存儲(chǔ)到模型中呢?這里有兩方面的問(wèn)題。首先,用戶反饋的信息并不一定是正確的,有時(shí)候故意引導(dǎo)ChatGPT做出不合理的回答,只是因?yàn)镃hatGPT在基于人類反饋的強(qiáng)化學(xué)習(xí)中加深了對(duì)用戶的依賴程度,所以ChatGPT在同一個(gè)對(duì)話過(guò)程中會(huì)非常相信用戶的反饋。其次,即使用戶反饋的信息是正確的,但因?yàn)榭赡艹霈F(xiàn)頻率不高,基礎(chǔ)大模型不能根據(jù)低頻數(shù)據(jù)更新參數(shù),否則大模型就會(huì)對(duì)某些長(zhǎng)尾數(shù)據(jù)進(jìn)行過(guò)擬合從而失去通用性。所以,讓ChatGPT實(shí)時(shí)進(jìn)行學(xué)習(xí)非常困難,一種簡(jiǎn)單直觀的方案就是每經(jīng)過(guò)一段時(shí)間就利用新的數(shù)據(jù)微調(diào)ChatGPT。或者采用觸發(fā)機(jī)制,當(dāng)多個(gè)用戶提交相同或相似反饋時(shí)觸發(fā)模型的參數(shù)更新,從而增強(qiáng)模型的動(dòng)態(tài)學(xué)習(xí)能力。


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)及時(shí)通過(guò)電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 二区三区在线 | 两女女百合互慰av赤裸无遮挡 | 黄色大全免费观看 | 18禁黄网站禁片免费观看女女 | 亚洲欧美在线观看 | 熟女人妻一区二区三区免费看 | a视频在线观看 | 亚洲欧美中文日韩在线v日本 | 亚洲欧美日韩在线播放 | 国产区123 | 欧美裸体摔跤xxxx | 91美女吸乳羞羞网站 | 日本特黄一级片 | 久久永久免费视频 | 国产suv精品一区二区883 | 国产成人精品一区二区三区福利 | 40到50岁中老年妇女毛片 | 亚洲国产精品一区二区久久 | 香港三级韩国三级日本三级 | 成人亚洲区 | 窝窝影院午夜看片 | 日韩精品在线免费 | 久久精品道一区二区三区 | 成人理伦片免费 | 日韩亚洲在线 | 亚洲久久色 | 欧美日韩中文字幕视频 | 国产色视频网免费 | 鲜嫩高中生无套进入 | 久久网av | 国产九九九九九九九a片 | 亚洲v欧美v另类v综合v日韩v | 九九色在线观看 | www亚洲视频com | 久久中文精品视频 | 玖玖在线观看视频 | 天天摸天天看 | 91pron在线| 又嫩又硬又黄又爽的视频 | 激情噜噜 | 日韩免费一二三区 | 欧美成人区 | 张柏芝hd一区二区 | 久久精品日日躁夜夜躁 | 日韩午夜小视频 | 午夜一区| 国产日产亚洲系列最新 | 初高中福利视频网站 | 国产精品第5页 | 成人妖精视频yjsp地址 | 日韩免费在线观看 | 成年男女免费视频网站 | 一级美女黄色片 | 麻豆文化传媒精品一区 | 国产一久久 | 伊人三区| 国产黑丝一区 | 99久久综合狠狠综合久久aⅴ | 农村老妇性真猛 | 日韩欧美亚洲精品 | 男人添女荫道口视频a | 欧美性极品少妇xxxx | 乖女从小调教h尿便器小说 关秀媚三级 | youjizz.com国产| 成年人网站黄色 | 黄网在线播放 | 中文字幕日韩美女 | 国产精品久久毛片av大全日韩 | www亚洲视频 | 麻豆网 | 国产喂奶挤奶一区二区三区 | 91精品在线播放 | 国产精品久久久久久婷婷动漫 | 欧美一区二区三区不卡视频 | 99精品欧美一区二区三区视频 | 色播亚洲视频在线观看 | 欧美裸体性生活 | 亚洲国产欧美日韩 | 日本人妻巨大乳挤奶水 | 少妇av在线| 精品一区二区三区在线观看视频 | 夜夜躁狠狠躁日日躁av | 亚洲成a人片在线观看无码专区 | 好紧好湿好爽免费视频 | 五月天婷婷影院 | 一区二区三区在线视频免费观看 | 91精品国产闺蜜国产在线闺蜜 | 岛国片人妻三上悠亚 | 欧美乱妇高清无乱码 | 裸体美女无遮挡免费网站 | 手机看片日韩精品 | 91成人在线观看喷潮蘑菇 | 成人精品久久日伦片大全免费 | 国产拍揄自揄精品视频麻豆 | 狠狠躁18三区二区一区传媒剧情 | 黑人大战欲求不满人妻 | 国产精品久久久久久久久久久免费看 | 免费人成视频在线 | 欧洲-级毛片内射 | 中文字幕日韩在线播放 | 天码中文字幕在线播放 | 人人干人人草 | 老司机在线免费视频 | 亚洲国产精品久久久天堂不卡 | 中国极品少妇xxxx | 久久www免费人成看片好看吗 | 中国少妇xxxx做受自拍 | 最新在线黄色网址 | 色噜噜视频 | 色婷婷亚洲一区二区三区 | 日本亚洲最大的色成网站www | 亚洲一区久久久 | 网站国产 | 中日韩乱码一二新区 | 色欲av无码一区二区三区 | 国产人与禽zoz0性伦在线 | 亚洲男人网 | 136fldh福利视频导在线 | 国产精品天天在线午夜更新 | 欧美在线免费看 | 成人自拍偷拍 | 久久亚洲网站 | 久久五月精品中文字幕 | 久久免费资源 | 国产综合视频 | 国产精品久久久久久久久久 | 搡老熟女老女人一区二区 | 日韩人妻无码一区二区三区久久99 | 在线看黄色av | 在线观看免费人成视频色9 在线观看的网站 | 天堂8中文在线最新版在线 拍真实国产伦偷精品 | 婷婷国产天堂久久综合五月 | 好吊视频一区二区 | 国产美女永久无遮挡 | 亚洲vs天堂 | 性视频欧美 | 福利姬液液酱喷水 | 日韩综合中文字幕 | 日韩中文字幕在线观看视频 | 美日韩毛片 | 狠狠躁天天躁夜夜躁婷婷 | 久久99久久99精品蜜柚传媒 | a视频在线| 国产在线一卡二卡 | 亚洲最大中文字幕无码网站 | 色偷偷亚洲 | 一区二区三区国 | 成人精品| 国产精品无码av不卡 | 国产精品偷窥熟女精品视频 | 色屁屁www影院入口免费 | 国内毛片精品av一二三 | 超碰97观看| 国产欧美一区二区三区在线看 | 久久zyz资源站无码中文动漫 | 少妇又紧又色又爽又刺激视频网站 | 99riav6国产情侣在线看 | 91麻豆精产国品一二三产区区 | 97成人在线 | 国产成人av一区 | 自拍成人福利视频免费在线观看 | 奇米影视亚洲精品一区 | 国产女人爽到高潮免费视频 | 老熟妇乱子伦牲交视频 | 国产精品嫩草久久久久 | 99热久久精品免费精品 | a视频网站 | 日本a在线免费观看 | 欧美中文字幕视频 | 女女互磨互喷水高潮les呻吟 | 五月天婷婷在线观看 | 国产又黄又猛又粗 | 久久麻豆精品 | 亚洲一区精品人人爽人人躁 | 日本xxxxxxxxxx天美 | 国产56页| av在线进入 | 么公的好大好硬好深好爽视频 | 亚洲最大综合网 | 少妇精品一区二区三区在线观看 | 欧美黄色免费看 | 亚洲精品一区三区三区在线观看 | 国产91精 | 人妻少妇乱子伦精品无码专区电影 | √天堂中文官网8在线 | 红桃成人少妇网站 | 女人和野鲁性猛交大毛片 | 国产女18毛片多18精品 | 一级视频片 | 国产亚洲日韩欧美另类第八页 | 午夜影院在线播放 | 国产农村妇女aaaaa视频 | 一区二区三区午夜 | 一区二区免费av | 精品久久久久久无码国产 | 国产一国产二 | 久久无码字幕中文久久无码 | 一边摸一边抽搐一进一出视频 | www.色日本 | 中文字幕乱妇无码av在线 | 欧美日韩在线视频免费观看 | 不用播放器的av网站 | 高h禁伦餐桌上的肉伦水视频 | 中文字幕_第2页_高清免费在线 | 特黄色毛片 | 波多野吉衣av无码 | 搡老女人一区二区三区视频tv | 98视频精品全部国产 | 国产精品熟妇一区二区三区四区 | 天堂中文在线观看视频 | 蜜桃视频中文字幕 | 精品视频久久久久 | 成人毛片av | 日本a级无毛 | 欧美福利片在线观看 | 国产婷婷一区二区三区 | 夜夜高潮天天爽欧美国产亚洲一区 | 狠狠色丁香婷婷综合 | 我要色综合天天 | 三上悠亚久久精品 | 婷婷丁香激情 | 亚洲精品9 | 妇女伦子伦视频国产 | 欧美视频性 | 久久日本精品字幕区二区 | 六月丁香婷婷综合 | 亚洲成人久久精品 | 国产激情小视频 | 少妇超碰| 69国产成人精品二区 | 伊人网综合视频 | 精品久久人人妻人人做精品 | 无码专区人妻系列日韩精品 | 中国精品18videosex性中国 | 一本一道久久a久久精品 | 精品国产自在久久现线拍 | 国产网红主播无码精品 | 亚洲女则毛耸耸bbw 亚洲女子a中天字幕 | 欧美四虎 | 丁香激情婷婷 | 欧美亚洲综合视频 | 91亚洲精品一区二区乱码 | 国产免费黄 | 夜夜综合 | 少妇交换浪荡h肉辣文视频 少妇交换做爰中文字幕 | 丁香九月婷婷 | 欧美xxxx黑人又粗又长密月 | 欧美一级爱爱视频 | www.日本黄色| av福利院 | 亚洲 欧美 制服 综合 另类 | 大陆明星乱淫(高h)小说 | 亚洲加勒比久久88色综合 | 可以免费观看的av | 亚洲最大av番号库 | 国产96在线 | 亚洲 | a√天堂网 | 69av视频 | 三级av在线免费观看 | 久久亚洲精品成人无码网站 | 国产精品一区二区人人爽 | 国产高清黄色 | 超碰人人人人人 | 免费ā片在线观看 | 午夜视频免费 | 男女啪啪做爰高潮免费看 | 国产无套粉嫩白浆内谢在a 国产无套粉嫩白浆内谢在线 | 久操视频免费观看 | 激情噜噜 | 无码一区二区三区中文字幕 | 亚洲国产www | 深夜福利亚洲 | 精品国产一区二区三区久久久蜜臀 | 日本japanese丰满白浆 | 久青草影院在线观看国产 | 欧美综合专区 | 国产激情综合 | 黑丝久久| 1000部精品久久久久久久久 | 全程偷拍露脸中年夫妇 | 欧美交换国产一区内射 | 男女裸交免费无遮挡全过程 | 国产乱子伦一区二区三区 | 五月天激情国产综合婷婷婷 | 国产精品va在线播放我和闺蜜 | 一本到高清 | 久久爱影视i | 麻豆视频91 | 日本美女一区二区三区 | 国产精品美女久久久免费 | 7878成人国产在线观看 | 精品国产99久久久久久宅男i | 国产a∨精品一区二区三区不卡 | wwwxx日本| 一二三区免费 | 亚洲国产一区二区三区波多野结衣 | 久久久久久久久久久久久久久 | 麻豆av一区二区三区 | 18禁黄久久久aaa片 | 成人aaaaa日本黄绝录象片 | 欧美女优在线观看 | 精品久久久久久无码专区不卡 | 免费观看性欧美大片无片 | 日韩乱码一二三 | 天天综合网天天综合狠狠躁 | 亚洲视频手机在线 | 黄色aaa| 人禽伦免费交视频播放 | 国产男小鲜肉同志免费 | 波多野结衣理论片 | 亚洲精品小视频 | 北条麻妃在线一区二区韩世雅 | 亚洲影院一区二区三区 | 双性人bbww欧美双性 | 视频黄色免费 | 日韩亚洲欧美一区二区 | 97人人爽人人澡人人精品 | 黑人狂躁日本妞videos在哪里 | 极品探花在线 | 国产91免费 | 中国一级片在线观看 | 久久久午夜精品福利内容 | 在线中文字幕观看 | 国产成人精品视频一区二区不卡 | 精品国产污污免费网站 | 亚洲国产婷婷六月丁香 | 亚洲深爱 | 欧美激情一区在线 | 国产日本精品 | 日韩av手机在线播放 | 三级黄网站 | 国外亚洲成av人片在线观看 | av在线播放地址 | 欧美日韩理论片 | 丝袜 制服 清纯 亚洲 | 91视频在线视频 | 男男啪啪激烈高潮cc漫画免费 | 中文字幕一区视频 | 婷婷四房综合激情五月 | 久久99精品久久久大学生 | 久久免费资源 | 国内偷自拍性夫妇 | 色综合视频二区偷拍在线 | 国产精品久久视频 | 亚洲第一综合网 | 国产在线国偷精品免费看 | 黄视频网站在线 | 国产又色又刺激高潮视频 | 免费激情 | 91嫩草网| 国产精品亚洲综合色区韩国 | 国产911情侣拍拍在线播放 | 小舞同人18吸乳羞羞在线观看 | av福利在线看 | wwwtianlulacom| 亚州av久久精品美女模特图片 | 欧美又粗大人妖一进一出 | 久久99精品九九九久久婷婷 | 亚洲成av人不卡无码影片 | 综合久久影院 | 91香蕉国产| 91精品无人区卡一卡二卡三 | 新搬来的女邻居麻豆av评分 | 天天操天天操天天 | 国产精品无码2021在线观看 | 一级a性色生活片毛片 | 久久国产中文 | 一区二区视频网站 | 中文字幕精品久久久久人妻红杏ⅰ | 成年人91视频 | 免费看日产一区二区三区 | www.夜夜夜| 性生交大片免费看女人按摩 | 国产资源在线观看 | 国产精品搬运 | 亚洲理论在线观看 | 玩弄japan白嫩少妇hd小说 | 乱肉放荡艳妇视频6399 | 娇妻玩4p被三个男人伺候电影 | 国产精品一区二区三区四区五区 | 欧美成人26uuu欧美毛片 | 成人免费观看视频大全 | 色香蕉在线视频 | 又黄又爽又色又刺激的视频 | 国产二区视频在线观看 | 中文字幕在线观看日韩 | 日韩欧美无 | 精品国产污污免费网站入口 | 亚洲精品第一 | 欧美性大战久久久久久久蜜桃 | 午夜国产羞羞视频免费网站 | 亚洲欧美日韩精品永久在线 | 乱精品一区字幕二区 | 亚洲人网站 | 欧洲视频在线观看 | 亚洲高清在线 | 中文成人无码精品久久久不卡 | 国产春色 | 天天色影院 | 亚洲精品美女久久久久99 | 少妇又紧又色又爽又刺激视频网站 | 日本特级片 | 999成人国产| 少妇愉情理伦片高潮日本 | 国产极品美女高潮无套小趴菜 | 日本欧美久久久久免费播放网 | 亚洲欧美www | 黑人做爰xxxⅹ性欧美有限公司 | 欧美天天综合色影久久精品 | 国产精品久久久久国产三级传媒 | 五月天婷婷综合 | 五月天亚洲视频 | 国产精自产拍久久久久久蜜小说 | 日本欧美一区二区 | 久久成人福利视频 | 成人一级黄色 | 久久综合伊人 | 影音先锋欧美在线 | 亚洲精品www久久久久久 | 天堂视频在线 | 免费毛儿一区二区十八岁 | 亚洲熟妇无码一区二区三区 | 国产丰满大乳奶水 | 美女视频黄色免费 | 天天舔夜夜操 | 日产一区三区三区高中清 | 任我撸在线视频 | a级在线看 | 一本一道久久a久久综合精品 | 中文字幕2区 | av综合网站 | 亚洲第一色 | av成人 | 欧美激情精品久久久久久蜜臀 | 国产成人tv| 一呦二呦三呦精品网站 | 天天插天天摸 | 国产日韩一区二区在线观看 | 成人网址在线观看 | 肉色超薄丝袜脚交69xx | 成人乱人伦精品小说 | 福利在线播放 | 国产精品久久久久久久久齐齐 | 日韩美女黄色片 | 欧美黄大片 | 午夜小视频免费在线观看 | 亚洲日韩中文无码久久 | 亚洲www在线观看 | 久久久蜜桃一区二区 | 国内精品自在自线 | 黄色综合网| 免费萌白酱国产一区二区三区 | 深夜成人在线 | 亚洲一区二区三区含羞草 | 男女全黄一级高潮 | 国产91对白在线观看九色 | 热久久美女精品天天吊色 | 午夜狠狠干 | 青草青视频 | 久久精品国产99国产精品亚洲 | 加勒比一本heyzo高清视频 | 美国美女群体交乱 | 夜夜躁人人爽天天天天大学生 | 在线观看视频免费入口 | 欧美精品二区三区四区免费看视频 | 亚洲精品乱码久久久久 | 神马久久久久 | 一级日批片| 性无码专区无码 | 午夜免费福利 | 欧美精品一区二区性色 | 成年人性生活免费视频 | 国产精品久久久久久人妻精品动漫 | 天堂av网在线| 羞羞的网站在线观看 | 国产又黄又爽又色的免费视频白丝 | 91av小视频 | 麻豆精品一区二区 | 国产亚洲精品久久久久5区 国产亚洲精品久久久久久 国产亚洲精品久久久久久国模美 | av天堂午夜精品一区 | 久久久综合亚洲91久久98 | 白浆影院 | 青青草dvd | 国产va视频 | 亚洲免费成人网 | 久久久久久久国产免费看 | 极品少妇xxx | 中文精品一区 | yy8090理论片在线大全中文 | 国产农村老头老太视频 | 性色av一区二区三区咪爱四虎 | 免费av日韩 | 亚洲春色综合另类网 | 果冻传媒mv免费播放在线观看 | 欧美男男大粗吊1069 | 第一色影院 | 亚洲aⅴ欧洲av国产综合图片 | 成人p站在线观看 | 欧美极品jiizzhd欧美暴力 | 无尺码精品产品网站 | 亚洲精品国产suv一区别 | 国产精品无码v在线观看 | 吃奶摸下的激烈视频 | 精品一区二区三区四区 | 男女做aj视频免费的网站 | 99精品国产高清一区二区麻豆 | 国模福利视频 | 蜜桃久久av一区 | 白嫩少妇bbw撒尿视频 | 日韩经典午夜福利发布 | 亚洲女优一区 | 日韩精品tv | 久久日本香蕉一区二区三区 | 国产精品免费一区二区三区 | 97视频在线看 | 最新日本中文字幕 | 久久国产av影片 | 久久99婷婷国产精品免费 | 在线免费日本 | 免费日韩在线 | 天天爽夜夜爽夜夜爽精品视频 | 日韩男女视频 | 欧美精品久久久久久久久久 | 日本少妇喂奶 | 免费无码av一区二区 | 天天色欧美 | 久久福利免费视频 | 日本三级成本人网站 | 日韩欧美一区二区视频 | 亚洲国产精品自产在线播放 | 一区二区三区成人久久爱 | 免费看男女做爰爽爽 | 中文字幕一区二区在线观看 | 日本人作爰全过程 | 日本视频中文字幕 | 国产一区日韩二区欧美三区 | 亚洲午夜片| 欧美三级视频在线 | 120秒日本爱爱动态图 | 成人国产欧美大片一区 | 亚洲aⅴ在线无码播放毛片一线天 | 草的我好爽视频 | 成人欧美一区二区三区在线观看 | 日本韩国欧美一区 | 黄色一区二区三区视频 | 一级一级黄色片 | 国产日产精品久久快鸭的功能介绍 | 亚洲人成影院在线观看 | 高清一区二区三区日本久 | 亚洲乱码日产精品bd | 多啪视频 | 伦理片免费完整片在线观看 | 成人免费视频国产免费麻豆 | 日日草草| 久久久久久人妻无码 | 色悠悠网 | 国产男女猛烈无遮挡免费视频 | 99精品视频在线看 | 色婷婷激情一区二区三区 | 91av蝌蚪| 精品国产91 | 国产男女性潮高清免费网站 | 免费看国产黄色片 | 免费看成人aa片无码视频吃奶 | 大桥未久av在线 | 亚洲精品自产拍在线观看 | 免费污片网站 | 国产小精品 | 中国china体内裑精亚洲片 | 国产精品高潮呻吟av久久4虎 | 亚洲精品网址 | 看av网站| av不卡免费在线观看 | 污污网站在线看 | 清纯唯美经典一区二区 | 亚洲国产亚洲 | av福利在线免费观看 | yy111111少妇无码理论片 | 日韩欧美精品免费 | 24小时日本韩国在线观看 | 亚洲黄色av | 日韩视频中文 | 在线亚洲一区二区 | 99热这里只有精品4 99热这里只有精品5 | 久久久久人妻精品一区二区三区 | www69堂| 日日摸夜夜添夜夜添欧美毛片小说 | 一区二区三区日本久久九 | 特级一级黄色片 | 正在播放大战肉丝少妇 | 国产精品污www在线观看17c | 动漫av网 | 少妇又色又爽又高潮极品 | 精品少妇88mav| 亚洲午夜精品一区二区 | 天堂av亚洲| 黄色激情小说网站 | 日本大奶视频 | 解开人妻的裙子猛烈进入 | 亚洲国产成人va在线观看天堂 | 国产夫妻性爱视频 | 天天躁日日摸久久久精品 | 欧美久久成人 | 免费在线观看黄色网 | 亚洲自偷自拍熟女另类 | 色yeye香蕉凹凸视频在线观看 | av天堂午夜精品一区 | 国产成人手机视频 | 51免费动漫网永久入口 | 欧美激情视频一区二区三区不卡 | 91麻豆精品国产91久久久使用方法 | 川上奈美侵犯中文字幕在线 | 色花av| 午夜精品国产精品大乳美女 | 夜夜爽日日柔柔日日人人 |