借助行業領先的智能AI引擎算法和海量數據倉庫，騰訊小智實現了智能問答技術，經過大量的業務測試和優化，知識點匹配度和準確率達到了90%以上。在2065 438+08 GITC全球互聯網技術大會上，騰訊小智榮獲年度互聯網最具價值產品獎。
騰訊小智算法負責人陳也發表了智能問答技術原理及其在To B場景中的應用的專題演講，從自己的角度向我們展示了智能問答技術的最新成果。
他首先從什麽是智能問答、為什麽要做、怎麽做三個問題闡述了自己對當前智能問答技術的立場和價值。首先，現階段的智能問答是信息檢索技術的升級，是量變而不是質變。但無論是在To B還是To C的場景下，目前的技術都可以有效解決部分用戶的痛點，提升用戶體驗，這是壹個迫切且富有想象力的方向。
在回答如何做到的問題時，他詳細介紹了幾種不同問答機器人的實現路徑，包括單輪問答機器人、多輪問答機器人和閱讀理解機器人。其中重點介紹了單輪問答機器人的實現原理，包括字面匹配、詞向量匹配、深度語義匹配、遷移學習等技術。
此後，他還分享了小智團隊將上述技術產品化的經驗，包括智能客服機器人和電話機器人，主要分享了目前的產品形態、亮點以及在實際項目中的壹些成果。
最後，他簡單總結了小智目前的工作，並對智能問答的發展提出了自己的看法。
-
以下是演講全文:
各位下午好。很高興今天在這裏給大家做壹個分享報告。首先，騰訊小智是壹個致力於為政府和各行業提供壹攬子智能問答解決方案的團隊。目前已落地基於文字的智能客服機器人和基於語音的電話機器人。
在大多數人的認知中，智能問答大概就是以上三種印象。2011，智力競賽獲勝的華生落敗。索菲亞，2017被沙特授予公民身份的機器人；《鋼鐵俠》中比較知名的機器人管家賈維斯。在大家的心目中，智能就是能夠像真人壹樣交流。但是，作為從業者，我很遺憾的告訴妳，目前的技術還遠遠達不到這個目標。我認為現在的智能問答技術本質上是信息檢索技術的升級，是量變而不是質變。這顆皇冠上的寶石還等著我們去摘取。
既然問答技術還不成熟，為什麽還要致力於這個領域呢？我想從To B和to c兩個角度來回答，對於企業來說，雖然目前的問答技術無法回答復雜的咨詢，但是大部分簡單的頭部問題都可以回答的很好。從這壹輪AI大潮，NLP賽道的幾個種子選手都切入智能客服方向，可以看出企業確實對智能問答有剛性需求。對於普通用戶來說，壹方面siri等語音助手每天為用戶提供便捷的交互界面，另壹方面亞馬遜echo等智能家居產品也逐漸走進千家萬戶，成為物聯網生態的中心入口之壹。這就是智能問答的價值。
那麽如何實現智能問答機器人呢？我們先來看看最基礎的單輪問答機器人的實現原理。
熟悉搜索引擎的朋友會發現，這個架構和搜索引擎的架構很像。壹般來說，單輪問答就是FAQ，基於業務問答對來搜索匹配問答庫。其中，FAQ問題集包含了幾個相似的問題供用戶匹配。在預處理階段，壹般進行文本糾錯、標準化和NLP特征提取；在召回階段，將在倒排索引中召回幾個候選問題(粗排名)，而在最終匹配階段，將基於各種模型進行匹配評分並返回最高分(細排名)。在匹配階段，將引入其他模塊，如知識圖譜和拒絕模型，以幫助提高匹配的最終準確率。
檢索中的匹配可以看作是幼稚解，單詞包+VSM，篩選候選就夠了，但是精細的排列需要更精細的策略。首先，我們應該使用監督信息進行擬合，我們應該基於問題對建立壹個訓練語料庫，看看擬合是否匹配這個二元目標。其次，在特征上拋棄稀疏詞袋模型，而是構造各種相似度做BaseScore，然後用非線性抗噪能力強的xgboost進行融合。比如我們利用詞二元模型、詞二元模型、核心詞、名詞等特征集的相似度。綜合了這種方法的優點和缺點。由於模型只學習字面相似的特征，不受領域影響，具有普適性，適合冷啟動。但也因為我們只考慮字面上的相似度，無法處理更深層次的語義匹配。
那麽如何衡量語義相似度呢？詞向量技術的興起是語義匹配的前提。所謂詞向量，就是將孤立的傳統令牌表示映射到相互關聯的向量空間中。這種相關性或相似性是由單詞的上下文來描述的。也就是說，上下文中相似的詞越多，它們的語義就越相似，詞向量的歐氏距離就越接近。這很好理解，更好的是，通過簡單的加減向量，就可以呈現出概念關系。比如king-man+woman的結果非常接近queen，說明詞向量在壹定程度上可以描述語義。如何對句子進行向量表示？壹個簡單的思路就是直接求和平均。大規模殺傷性武器是另壹種有趣而有效的方法。它把計算句子到句子的相似度建模成壹個運輸問題，把句子P的每個單詞運輸到句子Q的每個單詞，也可以說是壹個轉換。運輸成本是詞向量的余弦相似度，句子中每個詞的權重是要運輸的。用線性規劃求解壹個最優解，也就是P到q的距離，另壹個有效的方法是SIF，思路是做詞向量的加權求和，但是突出了句子的非通用部分，也就是用詞頻的倒數來計算權重，實驗效果也很好。
上述方法的壹個問題是，它不使用監督信息，因此效果是明顯的天花板。下面的工作都是基於深度網絡來做監督學習匹配，做法比較簡單。首先，句子文本采用one-hot編碼。如果字典大小為500K，編碼長度為500K維，實際上相當於包模型。然後輸入到壹個多層神經網絡中進行學習，最終得到壹個128維的向量作為句子的語義表示，然後用余弦計算兩個句子與文檔的相似度。這種方法其實是將高維稀疏表征特征映射到低維語義空間，類似於詞向量的思想，只是訓練目標不同，這裏用的是深層網絡結構。
但是CNN處理上下文的能力取決於窗口大小，所以不能遠距離處理。因此，我們應該考慮另壹個網絡單元RNN，它是專門為時間序列模型定制的。簡單來說，每個時刻t的隱藏狀態，或者說t字處的語義編碼，是由兩個輸入* * *，即前壹時刻的隱藏狀態和當前時刻的原始輸入決定的，以解決遠距離傳輸帶來的梯度消失和梯度爆炸。
CNN和RNN都是對原始輸入進行語義編碼的基本單元，編碼後的向量可以連接到多層感知器進行相似度計算。如果直接計算余弦相似度，就是dssm的升級版，比較常見的方式是將兩個句子的編碼向量拼接在壹起，然後通過壹個多層感知器計算相似度，這種方法統稱為表達式建模；
另壹種方案考慮到兩個句子之間的交互信息對於學習它們是否匹配顯然更重要。這種方案叫做交互建模，右圖就是壹個典型的例子。它最大的區別是兩個句子的所有窗口組合都是先拼接卷積得到交互信息。然後多次用卷積和池化來表示。其他的交互方式還有編碼，交互操作，比如差，點乘等。，以及註意力表征的計算，這也是壹種常見的交互方式。
接下來，我們介紹我們的方案。與上面介紹的模型相比，我們的方案有兩個主要的變化。壹種是采用密集連接的網絡結構，使得rnn層的輸入和輸出可以拼接在壹起作為下壹層的輸入。另壹種是混合註意機制，即在通過計算註意向量進行交互建模的基礎上，我們加入自我註意向量計算，然後通過gate機制融合兩個註意向量，壹方面引入問題。
上面的模型是壹個復雜的模型，有5.8M的參數。在實踐中，會出現訓練語料嚴重不足的情況。為了解決這個問題，我們引入了遷移學習策略。首先，第壹種是多任務聯合學習，比如擬合兩個問題是否匹配，還要對問題進行分類預測；另外，還可以同時做seq2seq的翻譯模型訓練，用於匹配問題對。這兩種策略都被證明在提高準確性方面是有效的。
另壹種思路更直觀，即從其他領域引入語料庫，即所謂的多語料庫遷移。微調，即微調參數，是方法之壹，即先用通用語料庫訓練網絡，固定下層表達層的參數，再用領域語料庫調整上層的參數；另壹種思路參考了對抗性學習的思想，即引入壹個新的任務“混淆分類器”來判斷當前樣本是來自源語料還是目標語料，並在損失函數中加入壹個反向混淆分類損失項，使混淆分類器盡可能不區分樣本的來源，從而保證帶* * *參數的表達網絡能夠學習到兩部分語料的* * *部分。
上面的介紹是完成壹個基本的單輪對話機器人，但是在實際應用中，經常會有需要交互的場景，比如查詢社保余額，需要用戶提供指定的信息，比如姓名、身份證號、手機號等。這就是所謂的面向任務的機器人，而另壹種基於知識圖譜的機器人往往涉及多輪交互。這裏簡單介紹壹下多輪對話機器人的架構，整體上是壹個對話管理系統，壹般管理會話狀態，包括四個模塊，分別是輸入部分:NLU，負責意圖識別和槽實體提取。例如，如果意圖是查詢社會保障余額，則提取社會保障號。所獲得的意圖和槽值將被發送到負責更新對話狀態的對話狀態跟蹤模塊DST。從形式上來說，它是壹個函數。輸入是對當前狀態S和當前查詢進行NLU處理得到的意圖和槽值Q，新的狀態S’將被輸出。下壹步是將S '發送到對話策略模塊DPL，後者根據新的狀態S '輸出動作A。通常，這種決策選擇將依賴於外部數據庫或。
前面提到的單輪問答機器人的壹個問題是，問答的準確率取決於問答庫的質量，而問答庫的構建費時費力，所以直接從數據量大的非結構化文檔中抽取答案是非常理想的。比如斯坦福大學開源的drQA，就是基於維基百科語料庫的開放領域問答機器人。讓我們來看看這個閱讀理解機器人的架構。它也是基於檢索重排的思想。首先從語料庫中提取可能的段落，然後送入閱讀理解模型進行定位、評分、排序，選出得分最高的答案。閱讀理解模型類似於匹配模型，需要先對問題和候選段落進行編碼，但不同的是最終的預測目標是答案的起止位置。去年，我所在的團隊獲得了閱讀理解權威公開測評Squad v1的第壹名。同時，包括谷歌、facebook、微軟、阿裏idst和科大訊飛在內的國內外同行參與了此次評估。說明業界對這項技術還是很重視的。
下面分享壹下小智將上述技術投入生產的經驗。首先我們來看看小智的整體架構圖。核心引擎有兩個部分，壹個是上面強調的深度語義匹配模型，另壹個是本次分享沒有展開的知識圖譜引擎。在此基礎上，我們構建了FAQ機器人、多輪對話機器人(任務機器人)、聊天機器人等等。以下是我們的單輪和多輪機器人的例子。
在我們的實際落地項目中，得益於深度遷移模型的語義匹配能力，以及行業知識圖譜的精準匹配和輔助提問，小智機器人可以實現95%左右的答題準確率，節省50%以上的服務人力，為政府和企業有效提升效率、降低成本。
在智能客服的基礎上，我們還打造了壹款基於語音的電話機器人，將智能客服、人工在線客服、工單系統、電話機器人進行了強集成，為客戶打造從售前到售後的整體解決方案
下面是電話機器人的整體架構圖，其核心是NLU模塊，負責識別用戶的提問意圖。
選擇相關實體。根據NLU的輸出，內置的對話管理引擎將流動並跟蹤流程狀態。
此外，ASR語音識別和TTS語音合成是必不可少的服務，這三個模塊相互配合完成與用戶的交互。
最後，我對智能問答的未來發展提出了壹些看法。目前學術界公認需要將模型和規則更有機地結合起來。在問答領域，規則的壹大部分是知識圖譜，包括開放領域的知識圖譜和專業領域的知識圖譜。再者，我們需要研究具有推理性質的理性知識地圖來描述領域中的規則和知識，使機器人能夠處理復雜條件下的問題，並提供更智能的響應。在我看來，智能問答的壹個突破口就是解決以上三個問題。今天的分享到此結束。謝謝妳。
發言者介紹說:
陳宋健，騰訊數據平臺部高級算法研究員，8年NLP研發經驗。2017加入騰訊TEG數據平臺部，負責智能客服產品騰訊小智的算法規劃和落地。負責過多個智能客服項目，有豐富的封閉區域智能問答實踐經驗。