1月20日消息，據報道，OpenAI發布事故報告指出，當前遭遇GPT-4o和4o-mini模型性能下降問題，目前正在進行調查，并將盡快發布最新消息。
近期，科研人員創新性地推出了一項名為LONGPROC的基準測試工具，該工具專為評估模型在處理長上下文中的復雜信息并生成相應回復的能力而設計。
實驗結果略顯意外：包括GPT-4o在內的眾多頂尖模型，雖然在常規長上下文回憶基準測試中表現優異，但在應對復雜的長文本生成任務時，仍暴露出顯著的改進需求。
具體而言，盡管所有參測模型均宣稱其上下文窗口大小超過32K tokens，但實際情況卻大相徑庭。開源模型在處理僅含2K tokens的任務時便顯露疲態，而諸如GPT-4o等閉源模型，在應對8K tokens任務時性能也明顯下滑。
以GPT-4o為例，在要求其生成詳細旅行規劃的任務中，即便提供了明確的時間節點和直飛航班信息，模型的輸出結果中仍出現了不存在的航班信息，即產生了“幻覺”現象。
實驗進一步揭示，即便是最前沿的模型，在生成連貫且冗長的內容方面仍存在較大提升空間。特別是在需要輸出8k tokens的任務中，即便是參數龐大的先進模型也未能幸免于難，這或許預示著未來大型語言模型（LLM）研究的一個極具潛力的方向。
本站內容除特別聲明的原創文章之外，轉載內容只為傳遞更多信息，并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題，請及時通過電子郵件或電話通知我們，以便迅速采取適當措施，避免給雙方造成不必要的經濟損失。聯系電話：010-82306118；郵箱：aet@chinaaet.com。