人工智慧語音翻譯主要集中在書面語言上，但近 3500 種生活語言主要是口語，沒有廣泛使用的書寫系統。這使得使用標準技術構建機器翻譯工具變得不可能，這些技術需要大量的書面文本來訓練 AI 模型。
為了應對這一挑戰，我們為福建話構建了第一個人工智慧語音到語音翻譯系統，福建話是一種主要是口頭語言，在中國僑民中廣泛使用，但缺乏標準的書面形式。我們正在開源我們的福建翻譯模型、評估數據集和研究論文，以便其他人可以複製和構建我們的工作。
翻譯系統是我們通用語音翻譯專案的一部分，該專案正在開發新的 AI 方法，我們希望最終能夠實現多種語言的即時語音到語音翻譯。我們相信口語交流可以將人們聚集在一起，無論他們身在何處 - 即使在元宇宙中也是如此。
一種新的建模方法
許多語音翻譯系統依賴於轉錄。但是，由於主要是口頭語言沒有標準的書面形式，因此生成轉錄文本作為翻譯輸出不起作用。因此，我們專注於語音到語音的翻譯。
為此，我們開發了多種方法，例如使用語音到單元的翻譯將輸入語音轉換為一系列聲學聲音，並從中生成波形或依賴來自相關語言的文本，在本例中為普通話。
展望翻譯的未來
雖然福建翻譯模式仍在進行中，一次只能翻譯一個完整的句子，但這是朝著語言間同聲傳譯的未來邁出的一步。我們開創的技術可以擴展到許多其他書面和非書面語言。
我們還發佈了 SpeechMatrix，這是通過我們創新的自然語言處理工具包（稱為 LASER）開發的大量語音到語音翻譯的集合。這些工具將使其他研究人員能夠創建自己的語音到語音翻譯系統，並建立在我們的工作基礎上。我們在研究人員稱之為無監督學習方面的進展表明，在沒有任何人工註釋的情況下構建高品質的語音到語音翻譯模型是可行的。這將有助於擴展這些模型，使其適用於沒有任何標記的訓練數據可用於訓練系統的語言。
我們的人工智慧研究正在説明打破物理世界和元宇宙中的語言障礙，以鼓勵聯繫和相互理解。我們期待在未來擴大我們的研究範圍，並將這項技術帶給更多的人。
以上內容來自 [ Meta Newsroom ] about.fb.com/news/2022/10/hokkien-ai-speech-translation
Comments