今天，我們宣佈推出專門針對生成式 AI 的漏洞賞金計劃，以及支援 AI 供應鏈開源安全的新方法
網路威脅發展迅速，一些最大的漏洞不是由公司或產品製造商發現的，而是由外部安全研究人員發現的。正因如此，我們長期以來一直通過漏洞獎勵計劃（VRP）、Project Zero 和 開源軟體安全領域來支持集體安全。這也是為什麼我們今年早些時候在白宮與其他領先的人工智慧公司一起致力於推進人工智慧系統中漏洞的發現。
今天，我們正在擴展 VRP，以獎勵特定於生成式 AI 的攻擊場景。我們相信，這將激勵圍繞人工智慧安全和安保的研究，並揭示潛在的問題，最終使人工智慧對每個人來說都更安全。我們還在擴展我們的開源安全工作，使有關人工智慧供應鏈安全的資訊普遍可被發現和驗證。
新技術需要新的漏洞報告準則
作為擴展 VRP for AI 的一部分，我們將重新審視如何對 bug 進行分類和報告。與傳統數位安全相比，生成式人工智慧提出了新的和不同的問題，例如不公平偏見、模型操縱或數據誤解（幻覺）的可能性。隨著我們繼續將生成式人工智慧集成到更多產品和功能中，我們的信任和安全團隊正在利用數十年的經驗，並採取全面的方法來更好地預測和測試這些潛在風險。但我們知道，外部安全研究人員可以幫助我們發現並解決新的漏洞，從而使我們的生成式人工智慧產品更加安全可靠。8 月，我們與白宮和行業同行一起，使數千名第三方安全研究人員能夠在 DEF CON 有史以來規模最大的公開 生成式 AI 紅隊活動中發現潛在問題。現在，由於我們正在擴展漏洞賞金計劃，並針對我們希望安全研究人員搜尋的內容發佈其他指南，因此我們將共用這些指南，以便任何人都可以看到 “範圍內” 的內容。我們預計這將刺激安全研究人員提交更多錯誤，並加速實現更安全、更有保障的生成式人工智慧的目標。
加強人工智慧供應鏈的兩種新方法
我們推出了安全 AI 框架 （SAIF），以支援行業創建值得信賴的應用程式，並鼓勵通過 AI 紅隊實施。SAIF 的首要原則是確保 AI 生態系統具有強大的安全基礎，這意味著保護使機器學習（ML）能夠抵禦模型篡改、數據中毒和產生有害內容等威脅的關鍵供應鏈元件。
今天，為了進一步防範機器學習供應鏈攻擊，我們正在擴展我們的開源安全工作，並在我們之前與開源安全基金會的合作基礎上再接再厲。Google 開源安全團隊 （GOSST） 正在利用 SLSA 和 Sigstore 來保護 AI 供應鏈的整體完整性。SLSA 涉及一套標準和控制措施，以提高供應鏈的彈性，而 Sigstore 則説明驗證供應鏈中的軟體是否如其聲稱的那樣。首先，今天我們 宣佈了第一批原型的可用性，用於使用 Sigstore 進行模型簽名和使用 SLSA 進行認證驗證。
這些是確保生成式人工智慧安全可靠的早期步驟，我們知道這項工作才剛剛開始。我們希望通過激勵更多的安全研究，同時將供應鏈安全應用於人工智慧，我們將激發與開源安全社區和行業其他方面的更多合作，並最終説明使人工智慧對每個人來說更安全。
以上內容來自 [ Google Blog ] blog.google/technology/safety-security/google-ai-security-expansion
