今天，我們宣佈了一項長期的人工智慧研究計劃，以更好地瞭解人類大腦如何處理語音和文本。通過與神經成像中心 Neurospin（CEA）和 Inria 的合作，我們正在比較 AI 語言模型和大腦如何對相同的口語或書面句子做出反應。我們將利用這項工作的見解來指導人工智慧的發展，該人工智慧可以像人一樣高效地處理語音和文本。在過去的兩年裡，我們將深度學習技術應用於公共神經成像數據集，以分析大腦如何處理單詞和句子。
近年來，人工智慧取得了令人印象深刻的進步，但它仍然遠未像人類那樣高效地學習語言。例如，孩子們從幾個例子中瞭解到「橙色」可以指代水果和顏色，但現代人工智慧系統不能像人一樣有效地做到這一點。這導致許多研究人員懷疑，研究人腦是否有助於建立能夠像人一樣學習和推理的人工智慧系統。
我們的研究發現：
最像大腦活動的語言模型是那些最好地從上下文中預測下一個單詞的語言模型（例如，從前...... 時間）。
雖然大腦可以提前很久預測單詞和想法
使用深度學習分析複雜的大腦信號
神經科學家歷來在分析大腦信號方面面臨重大限制。研究神經元活動和腦成像是一個複雜的過程，需要重型機器來分析神經元活動，這通常是不透明和嘈雜的。深度學習的興起，其中多層神經網路協同工作來學習，正在迅速緩解這些問題。這種方法突出了當一個人閱讀或聽故事時，大腦中何時何地生成單詞和句子。
為了滿足深度學習所需的數據量，我們的團隊不僅使用功能性磁共振成像（fMRI）對從公共數據集中記錄的數千次腦部掃描進行建模，而且還同時使用腦磁圖（MEG）對其進行建模，MEG 是一種每毫秒拍攝大腦活動快照的掃描儀。結合在一起，這些神經成像設備提供了檢測啟動在大腦中發生的位置和順序所需的數據。
預測遠遠超出下一個詞
我們最近揭示了大腦中長期預測的證據，這種能力仍然挑戰著今天的語言模型。例如，考慮短語 “從前......” 今天的大多數語言模型通常會預測下一個詞 “時間”，但它們預測複雜想法、情節和敘事的能力仍然有限，就像人們一樣。
在與 Inria 的合作中，我們將各種語言模型與 345 名志願者的大腦反應進行了比較，這些志願者在用 fMRI 記錄時聽取了複雜的敘述。我們通過長期預測來增強這些模型，以跟蹤大腦中的預測。我們的研究結果表明，特定的大腦區域最好通過未來用遙遠的單詞增強的語言模型來解釋。這些結果揭示了人腦的計算組織及其固有的預測性質，為改進當前的 AI 模型鋪平了道路。
瞭解更多關於我們關於人腦如何處理語言的研究。
以上內容來自 [ Meta Newsroom ] about.fb.com/news/2022/04/building-ai-that-processes-language-as-people-do
Comentários