當地時間 30 日，OpenAI 宣布，為了衡量語言模型的準確性，將開源一個名為 SimpleQA 的新基準，可衡量語言模型回答簡短的事實尋求（fact-seeking）問題的能力。
AI 領域中的一個開放性難題是如何訓練模型生成事實正確的回答。當前的語言模型有時會產生錯誤輸出或未經證實的答案，這一問題被稱為“幻覺”。能夠生成更準確、更少幻覺的回答的語言模型更為可靠，可以用于更廣泛的應用領域。
OpenAI 表示，目標是使用 SimpleQA 創建一個具備以下特點的數據集：
高正確性：問題的參考答案由兩名獨立的 AI 訓練師驗證，以確保評分的公正性。
多樣性：SimpleQA 涵蓋廣泛主題，從科學技術到電視節目與電子游戲應有盡有。
前沿挑戰性：與 TriviaQA（2017 年）或 NQ（2019 年）等早期基準相比，SimpleQA 更具挑戰性，尤其針對如 GPT-4o 等前沿模型（例如，GPT-4o 的得分不足 40%）。
高效用戶體驗：SimpleQA 問題與答案簡潔明了，使操作快速高效，并可通過 OpenAI API 等進行快速評分。此外，包含 4326 道問題的 SimpleQA 在評估中應具有較低的方差。
SimpleQA 將是一個簡單但具有挑戰性的基準，用于評估前沿模型的事實準確性。SimpleQA 的主要限制在于其范圍 —— 盡管 SimpleQA 準確，但它只在短查詢的受限設置中測量事實準確性，這些查詢是事實導向的，并且有一個可驗證的答案。
OpenAI 表示，模型在短回答中表現出的事實性是否與其在長篇、多事實內容中的表現相關，這仍是個懸而未決的研究課題。其希望 SimpleQA 的開源能夠進一步推動 AI 研究的發展，使模型更加可信并富有可靠性。
本站內容除特別聲明的原創文章之外，轉載內容只為傳遞更多信息，并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題，請及時通過電子郵件或電話通知我們，以便迅速采取適當措施，避免給雙方造成不必要的經濟損失。聯系電話：010-82306118；郵箱：aet@chinaaet.com。