NLP 歷史簡介
1900年代初，一位名叫費迪南德·德·索緒爾（Ferdinand de Saussure）的瑞士語言學教授去世，在此過程中，幾乎剝奪了世界“語言作為科學”的觀念。從1906年到1911年，索緒爾教授在日內瓦大學開設了三門課程，在那裡他開發了一種將語言描述為“系統”的方法。在語言中，聲音代表一個概念–一個隨著上下文變化而改變含義的概念。
他認為意義是在語言內部，在語言各部分之間的關係和差異中創造的。索緒爾提出的“含義”是在一種語言的關係和對比中產生的。共享語言系統使交流成為可能。索緒爾將社會視為一種“共享的”社會規範體系，為合理的，“擴展的”思想提供了條件，從而導致個人的決定和行動。（同一視圖可以應用於現代計算機語言）。
索緒爾於1913年去世，但他的兩個同事阿爾伯特·謝海耶（Albert Sechehaye）和查爾斯·巴利（Charles Bally）意識到了他的觀念的重要性。（想像一下索緒爾去世後的兩天，在巴利的辦公室裡喝咖啡，想知道如何使他的發現永遠消失。）兩人採取了不同尋常的步驟，從課程中收集“他的手稿筆記”和他的學生筆記。他們從這些書中撰寫了1916年出版的《語言研究報》。這本書為所謂的結構主義方法奠定了基礎，這種方法從語言學開始，後來擴展到其他領域，包括計算機。
1950年，艾倫·圖靈（Alan Turing）寫了一篇論文，描述了對“思考型”機器的測試。他說，如果一台機器可以通過使用電傳打字機成為對話的一部分，並且它完全模仿了人類，沒有明顯的差異，那麼該機器就可以被認為具有思考能力。此後不久，1952年，霍奇金-赫克斯利（Hodgkin-Huxley）模型展示了大腦如何利用神經元形成網絡。這些事件激發了人工智能（AI），自然語言處理（NLP）和計算機演進的思想。
自然語言處理
自然語言處理（NLP）是人工智能的一個方面，可幫助計算機理解，解釋和利用人類語言。NLP允許計算機使用人類語言與人交流。自然語言處理還為計算機提供了閱讀，聽和解釋語音的功能。NLP試圖彌合人與計算機通信之間的鴻溝，它藉鑑了包括計算語言學和計算機科學在內的多個學科。
一般來說，NLP將語言分解為更短，更基本的部分，稱為標記（單詞，句點等），並嘗試理解標記的關係。此過程通常使用更高級別的NLP功能，例如：
內容分類：語言文檔摘要，包括內容警報，重複檢測，搜索和索引。
主題發現和建模：捕獲文本集合的主題和含義，並對文本進行高級分析。
上下文提取：自動從基於文本的源中提取結構化數據。
情緒分析：識別存儲在大量文本中的總體情緒或主觀意見。對於意見挖掘很有用。
文本到語音和語音到文本的轉換：將語音命令轉換為文本，反之亦然。
文檔摘要：自動創建摘要，壓縮大量文本。
機器翻譯：自動將一種語言的文本或語音翻譯成另一種語言。
NLP開始和停止
諾姆·喬姆斯基（Noam Chomsky）於1957年出版了他的《句法結構》一書。在其中，他革新了以前的語言概念，得出結論，要使計算機能夠理解語言，就必須改變句子結構。以此為目標，喬姆斯基創建了一種語法，稱為“階段結構語法”，該語法有條不紊地將自然語言句子翻譯為計算機可以使用的格式。（總體目標是創建一種能夠在思維和交流方面或AI方面模仿人腦的計算機。）
1958年，約翰·麥卡錫（John McCarthy）發布了編程語言LISP（定位器/標識符分離協議），這是一種當今仍在使用的計算機語言。1964年，開發了ELIZA（一種“打字”的評論和響應過程），旨在使用反射技術來模仿精神科醫生。（它是通過重新排列句子並遵循相對簡單的語法規則來完成此操作的，但是計算機方面並沒有理解。）同樣在1964年，美國國家研究委員會（NRC）成立了自動語言處理諮詢委員會（ALPAC），簡稱。該委員會的任務是評估自然語言處理研究的進展。
1966年，NRC和ALPAC暫停了自然語言處理和機器翻譯研究的資金，從而開始了AI和NLP的首次停工。經過十二年的研究和2000萬美元的投資，機器翻譯的成本仍然比人工人工翻譯的成本高，並且仍然沒有計算機能夠進行基本的對話。1966年，許多人（雖然不是全部）認為人工智能和自然語言處理（NLP）研究死胡同。
NLP的歸還
自然語言過程和人工智能研究花了將近十四年的時間（直到1980年）才從極端發燒友的殘酷期望中恢復過來。從某種意義上講，人工智能的停工已經啟動了新思想的新階段，放棄了機器翻譯的早期概念，而新思想則促進了包括專家系統在內的新研究。在早期的自然語言處理研究中流行的語言學和統計學的混合被純統計學的主題所取代。1980年代開始了根本性的重新定位，用簡單的近似代替了深入的分析，並且評估過程變得更加嚴格。
直到1980年代，大多數NLP系統都使用複雜的“手寫”規則。但是在1980年代後期，NLP發生了一場革命。這是計算能力不斷提高以及向機器學習算法轉變的結果。雖然某些早期的機器學習算法（決策樹提供了一個很好的例子）產生了類似於舊式手寫規則的系統，但研究越來越集中在統計模型上。這些統計模型能夠做出軟概率決策。在整個1980年代，IBM負責開發幾種成功的，複雜的統計模型。
在1990年代，用於自然語言過程分析的統計模型迅速普及。純粹的統計NLP方法在跟上在線文本的巨大流量方面已變得非常有價值。N-Grams變得有用，可以從數字上識別和跟踪成群的語言數據。1997年，引入LSTM 遞歸神經網絡（RNN）模型，並在2007年發現了它們的利基市場，可用於語音和文本處理。當前，神經網絡模型被認為是NLP對文本和語音生成的理解的研究和開發的前沿。
2000年以後
2001年，Yoshio Bengio和他的團隊使用前饋神經網絡提出了第一個神經“語言”模型。前饋神經網絡描述了一種不使用連接來形成循環的人工神經網絡。在這種類型的網絡中，數據僅在一個方向上移動，從輸入節點到任何隱藏節點，再到輸出節點。前饋神經網絡沒有循環或迴路，與遞歸神經網絡有很大不同。
在2011年，Apple的Siri成為全球首批成功被普通消費者使用的NLP / AI助手之一。在Siri中，自動語音識別模塊將所有者的單詞轉換為數字解釋的概念。然後，語音命令系統會將這些概念與預定義的命令進行匹配，從而啟動特定的操作。例如，如果Siri詢問“您想听一下您的餘額嗎？” 它會理解“是”或“否”的響應，並採取相應的措施。
通過使用機器學習技術，所有者的口語模式不必與預定義的表達式完全匹配。對於NLP系統而言，聲音必須合理地接近才能正確翻譯含義。通過使用反饋循環，NLP引擎可以顯著提高其翻譯的準確性，並增加系統的詞彙量。訓練有素的系統會理解“我在哪裡可以得到大數據的幫助？”這樣的字眼。“我在哪裡可以找到大數據專家？”或“我需要大數據方面的幫助”，並提供適當的答复。
對話管理器與NLP的組合使開發一個能夠進行對話並聽起來像人的，帶有來回問題，提示和答案的系統成為可能。但是，我們的現代AI仍然無法通過Alan Turing的測試，並且目前聽起來還不像真正的人類。（還沒有。）
Peter
5 years agoThank you!