《聊天機器人Chatbot》第一期

799

 

課程名稱:

《聊天機器人 Chatbot


主講老師:
 

郭棟, 美國南加州大學 計算機系博士

本科就讀于中國科技大學物理系;在TRB, ICASSP, TKDE 發表過數篇會議與期刊文章,并有一篇JMLR文章在審;曾在Google Machine Intelligence實習工作,實習期間從事對聊天機器人系統的實踐,對Chatbot和問答系統有著豐富的領域知識。

 

課程簡介:
 

這是一門目前最專業的聊天機器人實踐課程,本次課程主要講授與聊天機器人系統相關的深度學習方法。內容包括三個部分:第一部分介紹以詞向量 (word vector) 和循環神經網絡 (RNN) 為代表的自然語言處理 (NLP) 知識基礎;第二部分介紹基于 RNN 的封閉與開放領域內的聊天機器人模型;第三部分以工業界的前沿研究為例介紹如何使聊天機器人返回有意義的信息。

 

面向人群:

 

對自然語言處理和機器學習、深度學習感興趣,希望通過實踐深入理解聊天機器人的核心技術領域,探索最前沿的Chatbot實踐應用。

 

學習收益:

 

通過本課程的學習,學員將會收獲:

      1.  了解如何使用機器學習、深度學習方法建模和解決多種自然語言處理任務

      2.  理解聊天和問答系統的工作原理并動手實現

      3.  深入理解聊天機器人的核心技術領域和前沿實踐。

 

 

課程大綱:
 

第一部分:語言模型

 

第一課 自然語言處理(NLP)的統計方法和特征工程

     1.  從fasttext出發了解基于詞頻的NLP特征與任務

     2.  從NN到RNN:使用循環神經網絡(RNN)獲得NLP數據中的時序信息

     3.  實踐案例:訓練cbow 和 skip-gram 詞向量模型并熟悉 tensorflow; 在簡易合成數據上運行RNN模型

 

第二課   基于RNN的語言模型

     1.  使用RNN生成語法正確的文本文檔

     2.  LSTM:優化RNN cell的短期記憶能力

     3.  實踐案例:使用RNN擬合和生成程序代碼和中英文文檔

 

第二部分:聊天模型

 

第三課   封閉領域的聊天機器人模型

     1.  基于深度特征學習和信息檢索的對話模型

     2.  以自動郵件回復為例,了解深度檢索模型的實際應用

     3. 實踐案例:在(1)英文技術類對話 (Ubuntu Dialogue Corpus) 和(2) 中文影視對白兩類數據集上訓練,比較使用三種不同特征的檢索對話模型

 

第四課 開放領域的聊天機器人模型

     1.  seq2seq結構的generative對話模型

     2.  generative對話模型的訓練與測試

     3. 實踐案例:使用第三節課的數據集,訓練generative對話模型; 演示產生答話時的beam search 方法

 

第五課 優化對話模型的記憶能力

     1.  從記憶單詞到記憶單句:使用分層RNN結構模擬多輪對話

     2.  從單個到多個RNN單元的聯合記憶:attention原理在多種NLP任務中的應用

     3. 實踐案例:在第四節課的基礎上添加多層RNN 結構和attention 選項;演示使用attention原理的文檔總結模型

 

第三部分:知識模型

   

Facebook和MetaMind的記憶網絡

     1.  記憶網絡:一個面向QA問題的模型框架

     2.  端對端記憶網絡和動態記憶網絡

     3. 實踐案例:記憶網絡在bAbI QA任務上的應用

 

第七課 DeepMind的神經圖靈機

     1.  對長期記憶建模:機器學習模型+外部記憶體方案

     2.  神經圖靈機(NTM)與可微分神經計算機(DNC)模型

     3. 實踐案例:NTM和DNC在sort 和bAbI QA任務上的應用

 

第八課 AllenAI的考試機器人

     1.  如何訓練機器回答自然科學考試題:AllenAI 的Kaggle比賽

     2.  通過對開放數據的檢索與深度學習推理尋找自然科學考試題的答案

     3. 實踐案例:AllenAI研究所的解決方案與前沿進展

 

第九課 對話系統從原理到應用

     1.  從餐館推薦模型出發,了解對話系統的端對端設計與強化學習

     2.  實踐案例:以wit.ai和slack.ai為例,了解工業界的bot產品,建立簡單的bot應用

  

常見問題:


Q: 參加本門課程有什么要求?
A: 有一定Python 編程能力,有大學數學基礎。機器學習方面至少要熟悉邏輯回歸,對神經網絡,svm等經典模型有一定的了解。

Q: 課程中會使用哪些軟件工具?會提供課程里使用的代碼嗎?

A: 使用Tensorflow等開源軟件;會提供代碼給學員。
Q:會有實際上機演示和動手操作嗎?

A:有的,老師會在相關課時準備上機演示部分,學員可以學習老師的實踐經驗

Q: 學習過程中,有疑問怎么解決?

A: 可以在http://wenda.epicabrazil.com/,老師會解答;也可以在群里和同學討論

Q:在哪里上課?

A:課程直播和回放都在小象學院官網(http://epicabrazil.com)上進行,不需要其他直播軟件;如果希望上下班路上觀看,可以下載小象學院app進行緩存。

 

 

 

 

授課教師

郭棟, 美國南加州大學 計算機系博士本科就讀于中國科技大學物理系;在TRB, ICASSP, TKDE 發表過數篇會議與期刊文章,并有一篇J...