我們正在推出 data2vec，這是第一個高性能的自我監督演算法，它以相同的方式學習語音，視覺和文本。
借助 data2vec，我們更接近於構建能夠了解周圍世界不同方面的機器，而不必依賴標記的數據。
今天，我們宣佈推出data2vec，這是第一個高性能的自我監督演算法，可以在多種形式（包括語音，視覺和文本）中以相同的方式學習。大多數機器只從標記數據中學習。然而，通過自我監督學習，機器能夠通過觀察世界，然後弄清楚圖像，語音或文本的結構來瞭解世界。對於機器來說，這是一種更具可擴展性和效率的方法，可以處理新的複雜任務，例如理解更多口語的文本。
用於圖像，語音，文本或其他模態的自我監督學習演算法以非常不同的方式起作用，這限制了研究人員更廣泛地應用它們。由於設計用於理解圖像的演算法不能直接應用於閱讀文本，因此很難以相同的速率推動多種模式。借助 data2vec，我們為模型開發了一種統一的方式來預測它們自己對輸入數據的表示，無論它是語音、文本還是音訊。通過關注這些表示形式，單個演算法可以處理完全不同類型的輸入。
借助 data2vec，我們更接近於構建能夠了解周圍世界不同方面的機器，而不必依賴標記的數據。 這為更普遍的自我監督學習鋪平了道路，並使我們更接近一個人工智慧可能使用影片，文章和錄音來學習複雜主題的世界，例如足球比賽或不同的烤麵包方式。Data2vec還將使我們能夠開發更具適應性的 AI，我們相信它將能夠執行超越當今可能的任務。
如果你是一名有興趣在我們的工作基礎上進行構建的研究人員，你可以訪問開原始程式碼，並在 GitHub 上發佈預訓練的模型。
以上內容來自 [ Meta Newsroom ]
