《電子技術應用》
您所在的位置:首頁 > 模擬設計 > 業界動態 > 從開放域機器人構建出發,聊聊如何與機器人吹水

從開放域機器人構建出發,聊聊如何與機器人吹水

2020-02-13
來源:搜狐科技
關鍵詞: 開放域 機器人 吹水

  作者從自己的實際工作出發,以兒童機器人場景為例,從多個角度對如何構建閑聊機器人進行了闡述,并分享了與機器人“吹水的”價值、方式方法以及背后原理。

1.jpeg

  一、機器人概述

  機器人按照對話方式,可以分為“問答機器人”、“任務對話機器人”、“開放閑聊機器人”。但機器人的落地使用過程中,往往需要不同作用的機器人進行結合。

  拿電器類客服機器人舉例來說,會有如下對話:

  用戶:“包安裝嗎”

  機器人:”我們是包安裝的哦,親“

  以上是我們最常見的問答場景,機器人通過檢索方式,找出query對應的answer返回給用不。

  再比如:

  用戶:“我要查物流”

  機器人:“您要查詢的是哪個訂單”(提供訂單A&訂單B&訂單C)

  用戶:選擇A

  機器人:該貨品目前已經由順豐發出。

  在以上場景中,機器人需要通過多輪方式完成查物流的任務。

  這就像咱人一樣,在工作中,不僅需要有決策和解決問題的能力,還需要有日常溝通能力,任何一項都是不可或缺的。

  由于工作中接觸了各類機器人,對于開放域聊天內容的感觸比較深的是,閑聊本身在機器人的場景中,作用會相對弱一些,但大部分時候,又屬于機器人的基本能力,屬于典型的“得不到的永遠在騷動,得到的有恃無恐”。

  而目前市面上的機器人介紹文檔,一方面關于閑聊的內容不多,絕大部分是任務型和檢索性的文章;另一方面,閑聊的介紹更偏向于技術實現方式。但小七我認為,想要做好開放域聊天,其實不能只考慮技術實現,而應該從產品本身出發。

  所以今天,小七結合之前做開放域機器人的實操過程,主要以兒童機器人場景為例子,從不同角度來闡述如何構建閑聊機器人,跟著我燥起來!

  二、吹水的價值

  閑聊,俗稱“吹水”。朋友間吹水,講究開心就好。所以,閑聊是一個雙方都帶有情感訴求的過程,可以是解悶逗樂,也可以是哭訴慰藉。

  基于此,如果用戶與機器人進行閑聊互動,必定是希望機器人能引起其情感的共鳴和變化。如下對話是用戶跟“小愛同學”(小米音箱)的對話:

  用戶:小愛同學,放個屁

  robot:矮油,人家是女孩紙,怎么會做這么羞羞的事情。既然主人想要聽放屁,我就勉為其難放一個,放的不好可不許怪我哦。

  噗~~

  用戶在這次對話中,讓小愛同學放屁,純粹是逗樂找趣。同時,機器人的反應也是有一定套路,讓用戶感受到,這是一個可以給自己帶來樂趣的朋友。

  當一個朋友情商特別高,能夠在自己傷心時給予安慰,無聊時帶來樂趣,開心時互相分享,任何一個人都會很感激有這樣的益友,讓人離不開。

  比如用戶面前有一個娛樂機器人,前者習慣性會以人與人交流的形式來進行對話。這時候,機器人不能而不是“直男”,顧著解決問題,也應該是一個情商高的朋友,感知用戶的情感,并在回復時伴隨著相應的情感,讓用戶感受到樂趣和溫度。

  只有這樣子,用戶才能與機器人做更多交互,提高用戶粘性,而不是“仰天嘲笑出門去,AI都是智障人”?

  三、如何吹水

  用戶如果有意和機器人扯犢子吹水,必然會有”像人“的期望值。這個標準說起來簡單,做起來相當得難,畢竟nlp技術還真沒達到完全理解人類的水平。

  如果我們換個角度,如《西部世界》中所講,機器人如果擁有了記憶,便開始進化成有意識的生物了。同樣的,對于【像人】(類似有意識)這個狀態,我們可以抽象出一些特質,機器人如果擁有了這些特征后,能讓用戶覺得還不錯,愿意聊下去。

  那以下是筆者從過往做閑聊機器人過程中所抽象出的特質,下面會一一做介紹。

2.png

  1. 人設一致性

  (1)人設一致性的意義

  每個社會人都有自己統一的人設,包括身份、性別、形象、性格、愛好等,人與人之間也是基于這個“本”在對話。即使是路上的陌生人問路,也會先根據對方的形象、性別稱呼,比如路上經常有人找我問路,都會說:“你好,帥哥”。而這稱呼,本身就是一個人物設定的表現。如果一個人人設不一致,有時候東,有時候西,那要么是這個人太戲精,要么就是神經錯亂,比如下面這個人:

  A:你是誰

  B:我是來自廣東的產品經理

  A:那你平時工作都在干嘛

  B:我在畫建筑設計圖,敲代碼,修空調。

  A:(這恐怕是個假的產品經理吧)

  機器人也一樣,需要立個人設在用戶前面,才能讓后者有真實感,安全感。如果機器人沒有人設,會讓聊天變得異常怪異。有時候回答不上來、有時候亂回答,有時候上句不接下句,用戶會認為亂七八糟,溝通不了。就如Cathy Pearl在《語言用戶界面設計》中所說:“人物模型的一致性,使人們能夠在與它們溝通時得以預測接下來會發生什么”。

  (2)設計方式

  那我們要如何設定機器人的人設呢?平時我們要了解一個人,一般會從其背景信息出發,如名字、家鄉、職業、愛好等;其次,通過其談吐舉止,也可以了解一個人的性格特征。

  關于機器人的背景,我們需要給到它一個故事。《西部世界》中,每個機器人都有自己的身份和劇本。但用戶會問機器人的哪些背景信息呢?事實是,不大可能枚舉出一個人的所有背景信息,就連人都可能忘了自己很多以前的事兒。

  這里我們可以從日常提問(高頻問題)入手。以兒童機器人為例,在我們之前做的項目中,從線上交互數據看出,咨詢機器人背景信息的query占了所有交互數據的10%以上。這類問題包括:

  機器人的身份是什么?姓名、年齡、生日、星座、家鄉等

  機器人的能力是什么?

  機器人的愛好是什么?

  機器人的家庭背景、社交背景是怎么樣的?

  另一方面,我們需要設計機器人的性格特點,以此來體現其談吐。性格特點可以是風趣、自信、忠誠,亦或是調皮、溫暖、腹黑。

  最終我們可以有這么一個故事:

  我們要創造一個兒童機器人,叫小七,男生,獅子座,關鍵很帥,來自泰坦星永恒一組,由于星球瀕臨滅絕,爸爸媽媽送他到了地球,所以他留在地球和人類愉快地生活。小七性格幽默,樂于助人,但有時候也有些腹黑,還有些喜歡掉書袋,教育小朋友。

  (3)產品舉例

  筆者也找了市面上做botframework的平臺,這類產品的側重點主要在于技能定制及模型訓練,而對于人設很少涉及。后面發現以下兩個平臺有相關設定,其中:圖靈機器人涉及到的屬性有性別、年齡、星座、爸爸媽媽;海知涉及的屬性包括姓名、性別、生日、喜好和爸爸媽媽。人設內容不多,但這類機器人基礎配置,還是必不可少的。

  圖靈機器人人設頁面:

3.png

  海知ruyi機器人人設頁面:

4.png

  2. 語言風格設定

  (1)意義與設計方式

  語言風格首先要符合人設特點。幽默的性格,機器人的回復就需要搞笑輕松一些,若是嚴謹的性格,機器人說話就需要嚴肅。想象一下,一個在法院的政務機器人,當你問它你會啥的時候,它說會泡妞撩妹,那場面真的會難以控制。

  比如前面提到的小七喜歡掉書袋,那我們可以在小孩子玩游戲很久之后,提醒小朋友需要休息一下,然后看看書,或者引導其來學習古詩詞。

  確定了語言風格之后,就需要將這種性格特點體現在機器人的對話中。我們可以從用戶所有query中,抽象高頻場景進行針對性設定,使得機器人人設和說話風格一致,更像一個人在聊天,這也是我們最終的預期效果。

  而在這個過程中,為了讓機器人顯得更加擬人化,我們也嘗試加入了一些類似口頭禪的feature,比如有的人習慣以“呃”來開始,有的人喜歡說“然后”來銜接。

  (2)產品舉例

  在以往例子中,我們所發現的其中一個高頻場景是:用戶會重復問同一個問題(不知道是不是都是一些智能程度檢驗師在聊天,尷尬)。這種情況是極不建議機器人一直是單一回復,那就成了一個對話復讀機了。而微軟小冰對于用戶這種互動,結合了她自己的人設和語言風格來回應(比如:撒嬌、傲氣)。

  我們可以探索下微軟小冰的策略:

5.png

6.png

  小冰的策略是,針對同個問題,給出不同的回復。若用戶重復太多次,小冰會有情緒的變化,慢慢地顯得不耐煩,并且開始責怪用戶,到最后干脆不回答了,直到用戶說其他內容,就回復“你終于不說重復的話啦~”。從中我們可以看出,小冰的語言是很活動調皮并且較為傲嬌的。

  也只有這樣豐富的語言體現,用戶才更相信對面是個可以聊天的朋友,而不是一個無聊的智障機器人。

  3. 個性化

  (1)個性化意義

  如同政治課本中的一句話:世界上不會有完全一樣的葉子。即使如雙胞胎,也會有各自的個性。我們過往發生的每件事情,讓我們形成了特有的世界觀,價值觀,人生觀。三觀決定了每個人的思想不同,而語言是思想的折射,從而讓每個人談吐都是與眾不同的。

  相應的,機器人也應該有自己的過往記憶,從而形成自己與眾不同的三觀。 這樣,每個機器人都是個性化的,就跟我們不同性格的朋友一樣。

  (2)設計方式

  當然,如果要記住所有的事情,對于機器人來說是困難的,也會顯得沒有意義,畢竟人也有記性差的時候。那機器人需要有什么記憶呢?除了剛才的背景信息,最重要的,是要記住它的主人,即用戶。

  也就是說,機器人需要能記住自己主人相關的信息,包括姓名、性別、愛好等方面,甚至某些過往的交互行為。這樣,當某個用戶A擁有了一款能記住機子的機器人,即使市面上有其他機器人,對用戶來說,這個機器人小伙伴都是獨一無二的。

  那要記住用戶,首先得有個收集用戶畫像的過程。這各場景就跟男生想要了解妹紙一樣,要么是自己主動了解(撩),要么是自己通過細心觀察(備胎式方案),被動了解。

  1)主動了解型

  如果機器人想主動去了解用戶,就需要找準時機,否則會顯得十分突兀,甚至讓用戶產生防備心理。

  一般來說,最好的時機,應該是兩個朋友相互了解的時候。具體我們可以看以下例子:

  用戶:你叫什么名字呀?

  機器人:我叫小七。主人你呢?

  用戶:我叫小八,你好呀。

  機器人:你好,小八。我知道自己主人叫啥了,好開心!

  用戶:你會做什么呢?

  機器人:唱歌跳舞,啥都會呢。小八,你平時喜歡干什么呢?

  用戶:我也喜歡唱歌呢。

  機器人在這樣的互動中,能夠了解到用戶的興趣愛好,并記憶下來。而用戶也會覺得這個機器人真的像自己的玩伴,從而更愿意與其玩下去。

  2)細心觀察型

  當然,如果機器人能夠細心留意用戶以往說的話,也可以從中了解很多信息,從而做出很驚艷的交互表現。比如:

  (早上)

  用戶:早上好

  機器人:早上好,小八。今天周末天氣很好,小八有打算去哪里玩嗎?

  用戶:今天要跟爸爸媽媽去動物園。

  機器人:聽起來很棒呀。要玩得開心哦

  (晚上)

  用戶:晚上好。

  機器人:小八呀,今天去動物園玩了一天,能跟我講講都玩了什么了嗎

  用戶:我今天看了斑馬、獅子、孔雀。。。。

  機器人:好像很好玩呀。下次小八帶著小七一起去,好不好

  機器人不僅能記憶,而且記性也好,讓小朋友感覺真的有在關注自己,也讓家長相信機器人確實是一個好陪伴,讓孩子不會孤單。

  通過這樣的記憶,讓每個機器人都成為特有的存在。每個小朋友都有陪伴自己成長的專屬的玩伴。

  P.S.當家里有兩個小朋友的時候,如果希望機器人能夠記住用戶是誰,我們也可以通過聲紋識別方式記住不同用戶的名稱。

  4. 主動引導

  (1)意義

  一個相對智能的吹水機器人算是擺在這里了。但事實告訴我們,如果只是這樣,用戶不會一直和他聊下去。市面上很多機器人會宣稱自己有很多能力,可以陪伴小孩子,還可以教小朋友數學、英語等等。咱先不說這些能力有沒有用,好不好玩,到底能不能被用戶觸發,才是首要考慮的問題。

  想象一下,兩個人在聊天,永遠是其中一方在找話題,另一方只是在附和,就算話癆也不可能永遠有話題。而且,用戶往往不知道要和機器人聊啥,尷尬的氣氛會讓前者失去聊下去的興趣。所以,通過機器人主動引導來找話題,從而讓用戶不斷來聊天,便顯得尤為重要。

  (2)設計方式

  設計主動引導的時候,產品經理需要講究策略,主要解決三個關鍵點:內容、時機、話術。

  1)引導內容

  選擇引導什么內容,這個取決于機器人的能力和定位,比如一個寓教于樂的機器人,應該多讓小朋友做數字游戲、詩詞游戲等互動。同時,機器人如果學習(上線)了一些新的能力,也需要及時引導用戶來體驗,保證用戶的活躍度。

  2)引導時機

  對于時間點的問題,我們可以選擇在開頭、過程中以及結尾三個timing去觸發。

  比較常見會在用戶喚醒機器人時候去引導其體驗能力,如下case便是小度音箱在過年期間的能力引導,會在用戶開始閑聊之后,直接推薦響應技能。

  user:小度小度,晚上好

  小度:晚上好呀。先來看看明天的天氣吧,稍后還有精彩節目等著你哦~

  小度:明天天氣xxxxx

  小度:我為您整理了一些收聽率很高的節目,聽聽看吧,覺得不喜歡可以跟我說“換個臺”

  但如果每次都在喚醒時引導就會顯得特別生硬。我們想象一下,兩個朋友在扯皮吹水,一般是從一個話題突然想到其他話題就開聊了。同理,用戶跟機器人聊天,也應該允許雙方聊著聊著就扯到其他話題的。

  我們也不必在所有聊天內容中去想辦法做話題引導。首先,應該找出用戶的高頻聊天場景中,比如小朋友會經常讓機器人講笑話,講完后就可以引導做其他寓教于樂的游戲。當然,實際情況不可能如此簡單暴力,觸發條件需要做權重計算,包括用戶各類技能的觸發次數、其他引導場景的觸發頻率、歷史引導的用戶反饋(如用戶說:我不喜歡)等。

  最后就是在結尾的timing做引導,也就是當雙方都陷入沉默的尷尬氣氛的時候。拿小米音箱舉例,由于是全雙工喚醒,當用戶每隔15s沒有說話,則會主動引導一次,連續三次引導無果才會退出喚醒狀態。比如:“主人你去哪兒了?告訴你哦,我最近新學了一項技能,要不要跟我一起玩呢”。這樣可以引起用戶聊下去的興趣,開始新的話題,保證cps的數據上漲。

  3)引導話術

  至于最后的引導話術,因為不同場景的話術是不一樣的,所以要保證與我們先前講的語言風格一致,至少不能讓一個很嚴肅的學霸型機器人突然撒嬌說:“跟人家聊點別的東東嘛~”

  5. 趣味性

  所謂好看的皮囊千篇一律,有趣的靈魂萬里挑一。說到底,一個chatbot如果不好玩,再怎么折騰也沒用。另一方面,聊天機器人始終是一個To C的產品,通過運營好玩的內容,保證活躍和留存是相當重要的。這往往能給到用戶意想不到的驚喜,從而產生持續對話的興趣。

  如何讓閑聊變得好玩,就不得不提小冰的套路了。一方面,小冰日常會更新技能,不斷刺激用戶去體驗;另一方面,也會在各種聊天中皮一皮,讓用戶相信這是個有趣的“朋友”,比如上文提到的對于用戶故意使壞,一直重復單句的場景。

  再比如,小冰曾經更新一個“讀心術”的技能,也就是在15個問題之內猜出用戶心里想的人物是誰。利用ID3決策樹等算法先將人物及特征作為訓練樣本,再讓小冰反問用戶,為每個特征分類,最后選中用戶的“心上人”。

  通過這一個個的小游戲,可以讓用戶不斷產生愉悅感及下次的期待感,朋友之間也是這樣,總有一些共同話題和興趣活動,才能讓雙方成為知己。

  之前設計閑聊機器人時,小七也設定了某些套路策略。比如情人節前后的土味情話,每天用戶開始進行互動的時候,以主動消息的方式來發土味情話。當時每天的土味情話在情人節期間還是帶來了不少的留存和活躍的。在實現方式上也比較簡單,直接利用規則設定即可,ROI還是挺高的。

  user:打開聊天女仆

  bot:主人你好呀。啊,你有沒有聞到什么味道?

  user:沒有啊/什么味/…

  bot:怎么你一出來空氣就甜炸了啊

  同樣的,兒童機器人更需要這樣的趣味性和新鮮感,畢竟兒童天性就是“喜新厭舊”。如果小玩伴每天都是玩同樣的游戲,說同樣的話,到最后一定“沒朋友”。所以可以加入寓教于樂的兒童游戲,日常更新的兒童笑話,兒童故事,來吸引小朋友的注意,讓孩子喜歡上這個玩伴。

  6. 情感

  根據馬斯洛的需求層次理論,情感和歸屬(love and belonging)的需要是極為強烈的,缺乏該需求的人,往往會因為沒有感受到身邊人的關懷,而認為沒有價值活在這世界上。而對于開放域聊天機器人,市場往往會將其定位為陪伴,以提供一定程度的情感需求。因此,如何讓機器人感知用戶的喜怒哀樂并做情感陪伴,就有很大的必要性了。

  這里分為兩塊,其一是如何識別用戶情緒;其二是機器人如何做情感反饋。

  (1)情緒識別

  我們暫不討論情感識別的技術識別,而是從產品側分析機器人要識別哪些情緒,從數據角度,就是劃分哪些數據作為情感分類。

  情感有很多種,態度上有喜歡和討厭,心情上有悲傷和快樂,人際上有疏遠和冷漠,等等。選擇哪些情感場景做反饋,主要取決于兩點:

  機器人定位:比如兒童陪伴場景,機器人對用戶的大部分情緒都應該有敏感的識別,才能讓兒童感受到陪伴的意義;而法律機器人的閑聊場景,很多情感問題可以不用太注重,機器人選擇統一回復即可。

  機器人回復內容的顆粒度:比如在兒童場景中,小朋友罵了臟話,其實不需要了解具體罵的啥內容,都應該先引導小朋友文明用詞,所以臟話內容的分類不需要太細,只要是臟話就做統一回復即可。

  (2)情感反饋策略

  當知道了用戶開心、失望還是憤怒的情緒之后,身為“朋友”的機器人就需要有所回應。針對不同的情緒分類,機器人可以有不同的策略。這里我們可以列一下兒童場景中集中回復策略:

  用戶生氣(說臟話):小朋友不可以說臟話哦,這樣我就不想跟你玩了,我只想跟文明的小孩做朋友呢~(教育策略)

  用戶生氣(無臟話):怎么了?有人惹你不開心了嗎?沒事,有小七陪著你舒緩心情呢~不如跟我一起聽首好聽的兒歌放松放松吧(引導兒童場景)

  用戶失落:主人,成長路上有不開心的事情,也會有開心的事情呢~至少小七一直陪著主人。對咯,我剛聽了一個笑話,可笑死我了,我也讓主人開心一下吧~(引導笑話場景)

  用戶害怕:主人你抱著我,就沒啥好怕的了,我們一起變勇敢!

  用戶開心:主人開心,小七就更開心啦。但是,但是,你要陪小七讀詩詞的呢,不要忘了哦~(引導詩詞場景)

  總而言之,機器人的情感陪伴的最終效果,應該是真正做到:不許騙我、罵我,要關心我;別人欺負我時,你要在第一時間出來幫我;我開心時,你要陪我開心;我不開心時,你要哄我開心。嗯,最佳損友!

  7. 特別說明:敏感詞處理

  根據2017年國家頒布的《網絡安全法》第47條和68條的規定,企業要保證自己的網絡運營平臺內容安全,若出現敏感詞等違規行為將會收到行政處罰,甚至被勒令停業整改。而作為聊天機器人的產品設計者,需要保證機器人不亂說話,否則牽連成本巨大。

  所以一般我們會設計一個敏感詞庫,并且做日常維護更新。有了敏感詞庫之后,我們來看機器人的回復語料來源,主要由三種渠道:(1)人工添加;(2)網上爬取;(3)自動生成。對于(1)(2),我們會考慮在錄入回復的地方做敏感詞過濾;而對于自動生成的回復,一般會在生成回復的時候,過濾掉敏感詞。

  嗯,做個聰明的機器人,知道什么該說,什么不該說。

  四、吹水是怎么練成的

  這一章主要聊的是機器人的實現方式,除非是算法類的產品經理,其他AI產品經理的重點還在于用戶場景,所以這塊我們簡單聊一下即可(畢竟說了好多了,在這段感情中累了)。

  1. 檢索式閑聊實現

  基于對話式檢索的閑聊主要使用匹配句子相似度的方式,比如先將用戶消息及對話庫的分類轉換為句向量,再計算兩者之間的余弦距離以得到語義相似度,最終將相似度最高的分類對應回復話術返回給用戶。

  想要轉換為句向量,由詞向量通過監督方法或者無監督方法獲得。現在主流的詞向量模型有Word2Vec、BERT等。當獲得了詞向量之后,可以通過各類模型獲得,如CNN、跳躍思維向量、快速思維向量。

  整體流程可以概括為:

  (1)將query做分詞等預處理,再通過Word2Vec、BERT等模型將分詞結果轉化為詞向量,再利用快速思維向量、跳躍思維向量等方式獲取句向量

  (2)將生成的句向量與模型模型已經處理過的分類匹配,計算兩者余弦相似度,獲得相似度分值;

  (3)根據分值排序,選擇最佳相似問句,將對應answer返回。

  當然,之前算法大大分享過:由于語料庫巨大,如果每一條語料都與query計算,匹配效率會賊低。所以可以用一個高效的搜索引擎做粗粒度的篩選,選出候選答案,再進行向量方式處理。

  2. 生成式閑聊實現

  生成式聊天機器人采用端到端的深度學習模型,如seq2seq,會從海量對話數據中學習到問題和回復,從而對每條query都自動生成回復。翻譯過來就是,回復內容不必預設,全部讓機器人自己來生成。

  一般可以通過LSTM等模型將輸入的序列映射為固定長度的向量,然后使用深度LSTM從向量中解碼得到目標輸出序列。

  業界的觀點中,目前seq2seq的生成模型往往會出現安全回答的問題、機器人個性不一致的問題和多輪對話中的對話連續性問題。我司算法大大跟我說過,這類情況也不是沒辦法解決,一般會在生成模型中加入外部知識(如小冰的話題模型以及情感分類模型)來讓回復更有意義。

  當然,在小七的觀點中,生成模型不只是會出現這三個問題,我們剛才講到的吹水策略,才是閑聊機器人的重點價值體現。生成式雖然可以保證每條消息都能有所答復,但朋友間的閑聊,不在于有話必應,而在于用心溝通,用心交往。

  當然,我也曾經天真地設想過一個方案:利用檢索式滿足策略回復同時,對于大量長尾的query,可以用生成回復,并引用情感等模型來保證回復內容更有意義,這個顧全大局但ROI賊低的方案活生生就被算法大大一句“天真”懟回來了,哈哈哈哈哈~

  五、怎么知道吹得好不好

  當我們將一個閑聊機器人構建完成并且上線了,不代表產品經理的工作就完成了。我們需要通過數據,了解機器人吹水能力是不是OK的,是不是真的達到用戶預期。

  平日里我們說一個人溝通能力強,能夠和任何人談笑風生,但并沒有一個標準,往往都是主觀判斷。而機器人是一個產品,產品經理始終需要找到可以衡量價值的指標,才能證明這個閑聊機器人是否真的滿足用戶需求。

7.png

  如上圖所示,從不同的目標來看,產品經理需要關注不同的指標,比如我們設計了一款兒童陪伴硬件機器人,從上往下都有不同的指標。

  對于企業來說,首先關注的就是好不好賣。產品經理就需要根據銷售量情況,去設計場景和亮點,保證產品側對銷售量的提升。

  從用戶角度來說,產品經理就需要關注其使用情況,大部門閑聊場景都是To C,所以避免不了要關注留存、活躍,也只有這兩個指標上去了,才能體現機器人陪伴的意義。其次,我們也需要關注每次對話的輪次,來了解用戶是否愿意聊下去,也就是業界所說的CPS(單輪對話次數)。

  從功能來說,產品經理需要考慮每個技能的使用情況,包括每個技能、場景的觸發率、完成率、留存率。這類指標可以說是對整體留存、活躍、CPS的深層次現象探究,比如哪些場景的觸發率高,從而提升了cps;哪些技能完成率低,導致整體活躍降低。

  最后,機器人是一個智能化系統,自身也應該有一些客觀標準來衡量其智能化程度。因為我們討論的主要是基于檢索式的閑聊系統,其常用評判標準有召回率、精準率和F-測度。

  本文由 @steseven 原創發布于人人都是產品經理,未經作者許可,禁止轉載。


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 最新av网站在线观看 | 午夜三级在线 | 可以直接免费观看的av网站 | 国产精品高潮呻吟久久久久久 | 久久精品无码一区二区小草 | 国产一级二级在线观看 | 李丽珍裸体午夜理伦片 | 亚洲国产精品久久久久久6q | 日韩电影一区二区三区 | 中文字幕亚洲欧美日韩在线不卡 | 美女的mm视频网站软件 | 成年视频免费高清在线看 | 一区免费 | 日韩加勒比一本无码精品 | 天天躁夜夜躁狠狠是什么心态 | 国产精选91 | 欧美精品中文字幕亚洲专区 | 日本欧美一区二区 | 欧美精品一区二区三区蜜臀 | 精品久久久爽爽久久男人和男人 | va在线| 亚洲精品www久久久久久 | 欧美成人aaa| 香蕉网在线播放 | 国产在线观看不卡 | 一个人在线免费观看www | 精品国产一区av天美传媒 | 国产在线精品一区在线观看 | 国产亚洲精品久久久久久牛牛 | 久久一本日日摸夜夜添 | 亚洲 精品 主播 自拍 | 国产精久久久久久妇女av | 中国猛少妇色xxxxx | 欧美视频www | 中文字幕av一区二区三区谷原希美 | 亚洲精品免费在线观看视频 | 福利影院av | 国产精品国产三级国产普通话99 | 久久久久久久久久久99 | 日韩 国产 欧美 | 欧美日韩一区在线 | 美国一级大黄一片免费中文 | 成人vr视频专区 | 蜜桃视频成人在线观看 | 亚洲国产日韩在线 | 99爱在线视频 | 国产精品久久久久毛片 | 先锋影音男人av资源 | 国产一区二区三区av在线无码观看 | 亚洲中文字幕久久久一区 | 蜜臀av性久久久久蜜臀aⅴ | 五月天激情四射 | 国产精品久久久久永久免费 | 亚洲天堂婷婷 | 中文字幕日韩三级 | 日本在线免费观看视频 | 国产99久久精品一区二区永久免费 | 一级免费黄色毛片 | 超碰88| 国产精品毛片在线完整版 | 国产亚洲精品久久久优势 | 99久久人人爽亚洲精品美女 | 影音先锋美女 | 我要干成人网 | 在线超碰av| 欧美日韩国语 | 黄色毛片大全 | 国精产品一区二区三区 | 五月婷综合 | www国产在线观看 | 亚洲色欲色欲天天天www | 天堂网中文在线观看 | 久久久久亚洲精品无码网址 | 精品视频国产 | 日本加勒比中文字幕 | 久久人人爽人人爽人人片av高请 | 亚洲成a人片在线观看中文 精品久久久久久久中文字幕 | 妞干网欧美 | 欧美精品福利视频 | 奇米影视7777久久精品人人爽 | 国产精品成 | 欧洲一区在线 | 全国男人天堂网 | 国产精品久久久久久久久久10秀 | 狠狠色丁香婷婷综合 | 亚洲午夜久久久久久久久电影网 | 国产亚洲真人做受在线观看 | 国产天堂视频在线观看 | 一个色的综合 | 久久春色| 亚洲毛片一区二区三区 | 国产乱码日产乱码精品精 | 国产农村老头老太视频 | 国产高潮国产高潮久久久 | 亚洲区小说区图片区qvod | 日韩黄色av| 亚洲精品久久久口爆吞精 | 日韩一区二区精品葵司在线 | 国产亚洲精品久久久久久网站 | 欧美牲交a欧美牲交aⅴ | 草草草在线 | 99精品国产在热久久婷婷 | 999精欧美一区二区三区黑人 | 五月天丁香在线 | 青青草网址 | 性色av网址 | 欧美一区二区三区四区在线 | 国产91绿帽单男绿奴 | 一区二区三区亚洲欧美 | 涩涩亚洲 | 日韩不卡一二区 | 97久久国产亚洲精品超碰热 | 国产中年熟女高潮大集合 | 伊人国产精品 | 麻花豆传媒mv在线观看 | 麻豆亚洲一区 | 日本大尺度激情做爰电2022 | 特级aaaaaaaaa毛片免费视频 | 欧美一区二区三区网站 | 免费性视频| 张柏芝54张无删码艳照在线播放 | 亚洲成a人片77777kkkk | 亚洲第一色在线 | 国产资源av | 日本大片免a费观看视频三区 | 国产日本免费 | 日日碰狠狠躁久久躁96avv | 久久久久极品 | 久久99精品久久久久久国产越南 | 国产女同疯狂作爱系列11 | 久久久久久伊人高潮影院 | 欧美cccc极品丰满hd | 大香伊人久久 | 人人九九精 | 国产农村妇女aaaaa视频 | 一本—道久久a久久精品蜜桃 | 夫妻免费无码v看片 | 中文字幕无码人妻aaa片 | 免费精品一区二区 | 欧美久久综合网 | 屁屁国产第一页草草影院 | 91亚洲乱码卡一卡二卡新区豆 | 国产你懂得 | 国产精品无码翘臀在线观看 | 成人久久久精品乱码一区二区三区 | 水蜜桃久久夜色精品一区怎么玩 | 东京道一本热中文字幕 | 国产日产亚洲系列最新 | 一级黄色网址 | 欧美性受xxxx黑人 | 中文字幕日本最新乱码视频 | 成人一级片视频 | 国产成人精品一区二区三区福利 | 做暧暧视频在线观看 | 国产亚洲精品久久久久婷婷瑜伽 | 国产三级自拍视频 | 在线小视频 | 激情五月婷婷久久 | 国产成人精品亚洲线观看 | 中文字幕免费在线播放 | 男男毛片 | www久热| 国产精品二区一区二区aⅴ 国产精品粉嫩懂色av | 好吊色视频988gao在线观看 | 亚洲成aⅴ人在线观看 | 一区二区影视 | 日韩一片 | 性啪啪chinese东北老女人 | 亚洲成av人在线观看天堂无码 | 三级在线视频观看 | 欧美丰满少妇xxⅹ | 国产精品久久久久久久久借妻 | 久久人人爽人人爽人人片av高请 | 久久久久久久久久久免费精品 | 爱情岛亚洲论坛入口福利 | 欧美疯狂做受xxxxx高潮 | 99riav3国产精品视频 | 91在线| 国产精品久久婷婷六月丁香 | 国产精品网站视频 | 多p混交群体交乱小说 | 欧美乱妇日本无乱码特黄大片 | 第一色影院 | 欧美激情16p | 老头边吃奶边弄进去呻吟 | 日本免费黄色 | 性色av一区二区 | 国产成人三级视频在线播放 | 一本大道久久卡一卡二卡三乱码 | 黄色自拍视频 | 亚洲精品成人天堂一二三 | 天天射视频 | av观看网址 | 性色av无码一区二区三区人妻 | 国产吞精囗交免费视频网站 | 国v精品久久久网 | 国产真实乱免费高清视频 | 成人欧美一区二区三区在线观看 | 国产精品国产三级国产av剧情 | 97性无码区免费 | 18禁裸男晨勃露j毛免费观看 | 91视频a| 理论av | 成年男女免费视频 | 欧美三级又粗又硬 | 青青草国产精品 | 欧美高清在线一区 | 亚洲乱码日产精品bd在线 | 99re6热在线精品视频播放 | 男女做爰猛烈啪啪吃奶动床戏麻豆 | 五月av在线| 国产精品综合网 | 日本一本久 | 久久久成人精品视频 | 精品久久久一二三区播放播放播放视频 | 中文字幕永久在线播放 | 偷窥自拍欧美色图 | 91久久久久久久一区二区 | 日本一级大毛片a一 | 少妇做爰免费视频网站色黄 | 国产精品免费一区二区三区四区 | 国内精品视频一区二区三区 | 精品久久久无码中文字幕天天 | 国产女女调教女同 | 亚洲国产精品无码观看久久 | 国产jjizz女人多水 | 国产女人18毛片水真多1 | 欧美巨大另类极品videosbest | 农村末发育av片一区二区 | 成人网ww555视频免费看 | 一级黄色片视频 | 91久久婷婷国产一区二区 | 精品国产sm最大网站 | 麻豆av免费入口 | 96国产精品 | 欧洲精品欧美精品 | 不卡中文字幕av | 日本免费一区二区三区视频观看 | 国产丰满精品伦一区二区三级视频 | 亚洲国产区 | 日韩精品免费在线 | 一级黄色片免费看 | 日日天干夜夜狠狠爱 | 亚洲成人激情小说 | 欧美日韩精品一区二区天天拍小说 | av在线综合网| 免费看av在线 | 大桥久未无码吹潮在线观看 | 男人的天堂视频在线观看 | 精品国产91亚洲一区二区三区www | 在线国产三级 | 欧美一级淫片bbb一84 | 国内成人精品2018免费看 | 国产精品高潮视频 | 国产精品偷伦视频免费观看了 | 天天色综 | 午夜激情成人 | 北条麻妃99精品久久朝桐光 | 美女黄色一级视频 | 少妇饥渴xxhd天美xxhd | 柠檬福利精品视频导航 | 成人一级免费视频 | 亚洲乱码一区二区三区在线观看 | 日日躁狠狠躁夜夜躁av中文字幕 | 诱人的奶水h男 | 成人午夜视频免费在线观看 | 精品人伦一区二区三区四区蜜桃牛 | 日韩视频不卡 | 一区二区精品视频 | 性——交——性——乱免费的 | 免费欧美 | 日本草草影院 | 成人性生交大片免费看4 | 久久久久久一区 | 欧美一级性生活 | 中文字幕日本最新乱码视频 | 成人免费淫片aa视频免费 | 中文字幕一卡二卡三卡 | 国模冰莲自慰肥美胞极品人体图 | 国产精品亚洲一区二区在线观看 | av香港经典三级级 在线 | 中文字幕视频观看 | 91精品国产综合久久久久久软件 | 国产jjizz一区二区三区老人 | 午夜在线视频 | 天堂无码人妻精品一区二区三区 | 看全色黄大色黄大片大学生 | 中文字幕第1页第69 中文字幕第22页 | 亚洲一区二区黄 | 国产亚洲精品久久久91 | 狠狠色噜噜狠狠狠狠97首创麻豆 | 欧美黄色一级生活片 | 黄色小网站在线观看 | 26uuu国产 | 日韩a片无码毛片免费看 | 色妞色综合久久夜夜 | 中国亲与子乱ay中文 | 露脸啪啪清纯大学生美女 | 日韩麻豆| 99国内精品久久久久久久 | 黄色国产精品视频 | 99精品欧美一区二区三区视频 | 亚洲一卡一卡二新区无人区 | 少妇饥渴偷公乱51 | yiren22亚洲综合伊人22 | 精品国产伦一区二区三区免费 | 色吊丝永久性观看网站 | yy1111111少妇影院免费 | 欧美激情综合 | 亚洲h在线播放在线观看h | 亚洲国产一区在线 | www.69视频 | 久久婷五月 | 国产精品青草综合久久久久99 | 五月天婷婷综合 | 91美女在线 | 国产精品精品久久久久久甜蜜软件 | 亚洲午夜久久久 | 久久免费影院 | 精品一区二区三区无码免费直播 | 波多野结衣三区 | 国产黄色片av | 中文字幕第一页av | 亚洲区欧美| 水野朝阳av一区二区三区 | 国产亚洲精品美女久久久 | 欧美日本国产精品 | 欧美午夜性 | 国产日韩欧美在线播放 | 一本大道无码av天堂 | 成人在线欧美 | 性高湖久久久久久久久aaaaa | 97色精品视频在线观看 | 一个人在线观看www软件 | 国产又大又粗又长 | 精品一二三四 | 国产特级黄色片 | 国产人妻精品午夜福利免费 | 亚洲精品久久区二区三区蜜桃臀 | 日韩理论视频 | 人妻少妇av中文字幕乱码 | 亚洲五月花 | 欧美三日本三级少妇99 | 香蕉视频官网在线观看 | 极品少妇露脸一区二区 | 日韩欧美中文字幕在线播放 | 麻豆av在线 | 亚洲午夜伦理 | 欧美性潮喷xxxxx免费视频看 | 四虎视频 | 亚洲国产另类久久久精品黑人 | 国产又粗又猛又色 | 久久视频免费观看 | 在线天堂www在线 | 青青草手机在线 | 日本少妇高潮喷水视频 | 亚洲网站视频 | 欧美精品成人 | 亚洲国产果冻传媒av在线观看 | 国产aⅴ片 | 欧美成人午夜免费视在线看片 | 国产精品亚洲lv粉色 | 黑人巨大国产9丨视频 | 懂色av蜜臀av粉嫩av喷吹 | 调教一区二区三区 | 丝瓜色版| 老湿机香蕉久久久久久 | 午夜免费啪视频在线观看 | 国产福利一区二区三区在线观看 | 午夜性刺激免费看视频 | 亚洲另类xxxx | 91精品国产入口在线 | 久久不射影院 | 亚洲影视一区 | 爱搞逼综合网 | 男人进入女人下部视频 | 无码人妻av一区二区三区蜜臀 | a级黄色网址 | 顶级少妇mm131美女艺术 | 无码夜色一区二区三区 | 国产一区二区三区四区五区入口 | 中国免费一级片 | 国产精品沙发午睡系列 | 日本伊人色综合网 | 国产乱码在线 | 国产成人无码一二三区视频 | 日本午夜一区二区 | 三级福利片| 91麻豆影视| 美女视频黄a视频全免费观看 | 亚洲精品国产精品乱码不66 | 成人免费ā片在线观看 | 久久亚洲国产成人精品性色 | 91精品在线一区 | 天天综合国产 | 少妇高潮喷潮久久久影院 | 136fldh导航福利微拍 | 亚洲精品乱码久久久久久蜜桃91 | 亚洲精品国产免费 | 青青青国产精品一区二区 | 99久久夜色精品国产亚洲 | 久久精品a亚洲国产v高清不卡 | 在线播放亚洲 | 在线欧美视频 | 久久久久av69精品 | 一区二区国产精品精华液 | 成人91免费 | 午夜888| 国产熟妇搡bbbb搡bbbb搡 | 国产精品欧美一区二区三区喷水 | 国产99久久九九精品的功能介绍 | 天堂va久久久噜噜噜久久va | 日本高潮视频 | 一区二区三区视频在线 | 国产一区调教91鞭打 | 人人干狠狠干 | 国产精品久久久久久久岛一本蜜乳 | 欧美成人免费观看视频 | 无遮挡做爰激吻国产999 | av福利网 | 天天草天天爽 | 内射人妻少妇无码一本一道 | 欧美日韩黄色 | 99久久网站 | 爱情岛论坛亚洲品质自拍网址大全 | 91视频h| 丁香五月网久久综合 | 国内一区二区 | 在线亚洲欧美 | 亚洲视频三区 | 欧美jizz18 | 少妇又紧又色又爽又黄又刺激 | 日本黄色天堂 | 肉肉av福利一精品导航 | 97影院手机版 | 中文天堂在线播放 | 国产福利一区二区三区在线观看 | 午夜免费国产体验区免费的 | 国产午夜av秒播在线观看 | 国产精品国产三级国产专区53 | 日本少妇寂寞少妇aaa | 中文字幕第8页 | 公妇借种乱h中文字幕 | 日日舔夜夜操 | 99精品视频在线免费观看 | 91精品国产综合久久久蜜臀九色 | 在线观看成年人网站 | 国产一级18片视频 | 欧美又大粗又爽又黄大片视频 | 日韩一欧美内射在线观看 | 天堂在线视频免费 | 国产在线视频91 | 大桥未久av一区二区三区中文 | 国产欧美一区二区三区在线看 | 亚洲网视频 | 小香蕉av| 国产精品久久久久久久久久 | 久久久一二三四 | 日本一区二区不卡在线观看 | 在线看毛片网站 | 中国国产精品 | 后进极品白嫩翘臀在线视频 | 91精品国产综合久久香蕉的特点 | 成人黄色片免费看 | 午夜影院体验区 | 97久草| 成人动漫视频在线观看 | 欧美又粗大人妖一进一出 | 强制中出し~大桥未久在线a | 隔壁人妻偷人bd中字 | 熟女人妻aⅴ一区二区三区60路 | 亚洲第一av网站 | 欧美日本不卡 | 日本污污网站 | 国产日韩网站 | 亚洲精品av中文字幕在线在线 | 欧洲av在线免费观看 | 亚洲成人在线观看视频 | 大尺度做爰呻吟62集 | 国产麻豆网 | 亚洲色偷偷色噜噜狠狠99网 | 国产午夜精品一区二区三 | 禁止18在线观看 | 国产精品99久久久久久白浆小说 | 欧美色欧美亚洲高清在线视频 | 欧洲成人在线视频 | 国产成人精品综合在线观看 | 免费观看又污又黄的网站 | 日韩av无码久久一区二区 | 日韩欧三级| 男男啪啪激烈高潮cc漫画免费 | 波多野结衣精品视频 | 国产精品夜夜嗨视频免费视频 | 少妇寂寞小伙满足少妇在线观看 | 东北少妇高潮抽搐 | 欧美高清videosex极品 | 欧美日韩一区二区三区四区在线观看 | 69国产精品| 韩国bj大尺度vip福利网站 | www片香蕉内射在线88av8 | 乱码一区二区三区 | 老司机成人永久免费视频 | 国产侵犯亲女在线 | 伊人情人综合网 | 欧美色性视频 | 日韩精品视频免费专区在线播放 | 九九热com| 青青草亚洲 | 国产一区二区中文字幕 | 免费av不卡在线观看 | 国产成a人片在线观看视频下载 | 国产精品久久久影视青草 | 中文字幕乱码在线观看 | 午夜99| 成人依依| 亚洲一区 国产 | 亚洲人成人天堂 | 久久久精品波多野结衣 | 噜噜噜久久亚洲精品国产品91 | 欧美日韩精品一区二区视频 | 亚洲精品无码久久久 | 激情xxxx | 亚洲精品一区二区三区h | 免费视频99 | 国产视频第二页 | 日韩一区二区三区av | 男女69式互吃动态图在线观看 | 中文字幕久久熟女人妻av免费 | 亚洲国产一区二区三区日本久久久 | 高清欧美性猛交xxxx黑人猛交 | 亚洲精品乱码久久久久红杏 | 无码中文av有码中文av | 8x福利精品第一导航 | 伊人激情av一区二区三区 | 大桥未久亚洲无av码在线 | 91丝袜国产在线观看 | 天天看片天天爽 | 成人秘密在线观看 | 久久久久久久久久久国产精品 | 国产精品亚洲一区二区在线观看 | 97国产婷婷综合在线视频 | 五月婷婷开心网 | 亚洲色欧美另类 | 亚洲性xxx| 美女视频黄8视频大全 | 欧洲高潮三级做爰 | 欧美福利网 | 中文字幕人成人乱码亚洲影视的特点 | 国产精品ai换脸张天爱 | 欧美成人性生活免费视频 | 福利在线免费观看 | 久久网免费视频 | 日韩欧美专区 | 国产一二三四在线 | 香蕉视频一区二区三区 | 欧美性xxxx狂欢老少配 | 天天射天天干天天色 | 蜜臀av免费一区二区三区 | 8x8ⅹ国产精品一区二区 | 猫咪av在线 | 日本000xxx免费视频 | 狠狠色香婷婷久久亚洲精品 | 久久人人添人人爽添人人88v | 午夜性福利视频 | 天堂va欧美va亚洲va好看va | 黑人巨茎大战俄罗斯美女 | 国产精品综合久久久久久 | 婷婷综合基地俺也来 | 亚洲国产精品高潮呻吟久久 | 激情综合一区二区三区 | 国产精品久久久久久久久免费看 | 乱女伦露脸对白在线播放 | 不卡欧美 | 亚洲色精品aⅴ一区区三区 国产黄大片在线观看 | 用舌头去添高潮无码视频 | 亚洲天堂午夜 | 久久久国产精品无码免费专区 | 中国china体内裑精亚洲片 | 一本加勒比hezyo日本变态 | 亚洲不卡视频在线 | 天天干中文字幕 | 美女初尝巨物嗷嗷叫自拍视频 | 玖玖在线免费视频 | 久久夜色噜噜噜av一区二区 | 国产精品第8页 | 青青操91 | 黑人巨大精品一区二区 | 色香蕉网| 岛国片免费在线观看 | 欧美成人免费一级 | 日本理论片免费观看在线视频 | 2019狠狠干| 欧美无砖砖区免费 | 欧美日韩成人在线观看 | 朝鲜一级特黄真人毛片 | 国产精品一区二区三区视频免费 | 纤纤影视理伦片在线看 | 红桃视频91 | 国产成人8x视频网站入口 | 日本护士毛茸茸高潮 | 成人毛片一区二区三区 | 真人啪啪高潮喷水呻吟无遮挡 | 免费在线观看日韩 | 狠狠色噜噜狠狠狠8888米奇 | wwwwww在线观看| 少妇高潮久久久 | snh48国产大片永久 | 日韩一级片免费看 | 无码任你躁久久久久久 | 一级做性色a爱片久久毛片欧 | 亚洲网址 | 大地资源影视在线播放观看高清视频 | 强制高潮18xxxx国语对白 | 粗大的内捧猛烈进出在线视频 | 国产资源在线免费观看 |