10月12日，在2024中國移動全球合作伙伴大會期間，中國移動攜手央企及產業各方共同發布大模型評測體系建設的重要成果《通用大模型評測標準》，為產業界遴選優質大模型提供重要參考依據。中國移動總經理何飚、副總經理高同慶，電子標準院、中國電信、國家電網、中國石油、中國物流、南方電網、阿里、科大訊飛、智譜等聯合編制單位領導出席發布儀式。
大模型評測是助力人工智能賦能行業應用的重要一環。當前眾多企業已啟動大模型建設，亟需建立配套的通用大模型和行業大模型評測體系。為發揮大模型評測領域的引領作用，中國移動聯合電子標準院及16家重點央企共同開展大模型評測體系建設工作。第一階段將圍繞通用領域和4個重點行業領域，從評測標準制定、評測基地建設、評測試點應用等方面開展工作。
目前，中國移動攜手央企及產業各方遵循“確保評測權威、加強業界協同、解決實際問題、保持開放態度”的原則，初步完成通用大模型評測標準制定，得到行業龍頭央企、業界頭部公司、知名高校及科研機構充分認可，為后續試點評測等工作奠定了堅實基礎。
通用大模型評測標準基于“2-4-6”框架。“2”代表兩類評測視角，以重點行業實際使用需求為導向，與國標對模型能力要求拉齊，將評測任務劃分為理解和生成兩類視角。“4”代表四類評測要素，從評測全生命周期中提取出評測工具、評測數據、評測方式和評測指標四類關鍵要素，確保評測工作可實施性。“6”代表六大評測維度，綜合考慮大模型應用過程中的核心能力，設定功能性、準確性、可靠性、安全性、交互性和應用性六大維度。該標準廣泛吸納產學研用各方意見，并結合行業特色場景需求，可為通用大模型全面評估提供客觀依據，為AI賦能千行百業提供保障。
未來，中國移動將聯合行業龍頭企業、業界頭部公司、知名高校和科研機構，深入挖掘石油、電力、交通和物流等重點行業應用需求，持續打造并完善通用及行業大模型評測體系，積極建設大模型評測基地，廣泛征集各中央企業及頭部民企積極參與大模型評測，打造落地應用最佳實踐，為提升AI+行業新質生產力，保障國產大模型高質量發展，貢獻央企力量。
