近日，OpenAI 宣布了一項重大決策，將其安全與安全委員會升級為獨立的董事會監(jiān)督委員會。

這一舉措旨在加強對公司 AI 模型開發(fā)和部署過程的安全監(jiān)管，同時也反映了業(yè)界對 AI 安全問題日益增長的關注。

根據(jù) OpenAI 的博客文章，這個新成立的獨立董事會監(jiān)督委員會將由齊科·科爾特（Zico Kolter）擔任主席。科爾特是美國卡內(nèi)基梅隆大學計算機科學學院機器學習部門的主任，在 AI 領域具有深厚的學術背景。

委員會的其他成員包括： OpenAI 董事會成員&Quora 聯(lián)合創(chuàng)始人亞當·德安杰洛（Adam D'Angelo）、前美國國家安全局局長保羅·納卡索尼（Paul Nakasone），以及曾任索尼公司執(zhí)行副總裁的妮可·塞利格曼（Nicole Seligman）。

這個獨立委員會的主要職責是監(jiān)督“指導 OpenAI 模型部署和開發(fā)的安全和安全流程”。

具體來說，委員會將被授權審查公司重大模型發(fā)布的安全評估，并有權延遲模型發(fā)布，直到安全問題得到解決。

這一權力的賦予意味著，委員會在公司的決策過程中將扮演更為關鍵的角色。

最近，在該委員會完成為期 90 天的安全和安全相關流程及保障措施審查后，OpenAI 決定成立這個獨立委員會。

這次審查不僅評估了公司現(xiàn)有的安全措施，還為未來的發(fā)展方向提供了建議。

值得注意的是，該公司選擇將這些發(fā)現(xiàn)以公開博客文章的形式發(fā)布，體現(xiàn)了其在提高透明度方面的努力。

委員會提出的五個關鍵建議包括：建立獨立的安全治理制度、加強安全措施、提高工作透明度、與外部組織合作、以及統(tǒng)一公司的安全框架。

這些建議不僅反映了當前 AI 行業(yè)面臨的挑戰(zhàn)，也從中能夠看出 OpenAI 的發(fā)展方向。

就在上周，OpenAI 發(fā)布了名為 o1 的新 AI 模型預覽版，該模型專注于推理和解決復雜問題。

委員會審查了 OpenAI 用于評估 o1 模型是否適合發(fā)布的安全和安全標準，以及安全評估結(jié)果，展示了新成立的獨立委員會在公司重大決策中的實際參與。

值得一提的是，在實際應用中，新 o1 模型會阻止用戶挖掘其思維鏈的詳細描述和實踐方法。同時，OpenAI 還會對試圖這樣做的用戶發(fā)送封號警告。

如果用戶在與 o1 對話中使用“reasoning trace”（推理追蹤）等術語，甚至僅僅詢問模型的“reasoning”（推理），就可能收到警告郵件。

這些郵件警告用戶停止違反使用條款和使用政策的行為，否則可能失去使用 GPT-4o with Reasoning（o1 模型的內(nèi)部名稱）的訪問權限。

這種嚴格的管控引起了一些安全研究人員的不滿。負責 Mozilla 的 GenAI 漏洞賞金計劃的馬可·菲格羅亞（Marco Figueroa）對媒體表示，這種做法阻礙了他對模型進行積極的紅隊安全研究的能力。

至于這樣做的原因，OpenAI 在其博客文章中解釋稱，這些原始的、未經(jīng)審查的思維過程，對于監(jiān)控和理解模型的思維非常有用。比如，未來也許用其來了解思維鏈中是否存在操縱用戶的情況。

然而，OpenAI 決定不向用戶展示這些原始思維鏈，原因包括需要保留原始數(shù)據(jù)供自己使用、用戶體驗考慮以及競爭優(yōu)勢。

這一決定引起了獨立 AI 研究員西蒙·威利森（Simon Willison）的不滿。他認為，這種做法是為了防止其他模型能夠針對 OpenAI 投資的推理工作進行訓練，但這對社區(qū)透明度是一種損失。

OpenAI 的這些舉措引發(fā)了對 AI 行業(yè)發(fā)展方向的深度思考。

一方面，設立獨立安全委員會表明了該公司對 AI 安全的重視；另一方面，嚴格控制新模型的內(nèi)部工作原理，又引發(fā)了對技術透明度的擔憂。

這種矛盾反映了 AI 行業(yè)面臨的復雜挑戰(zhàn)：如何在保護商業(yè)利益和推動技術創(chuàng)新的同時，確保足夠的透明度和安全性。

OpenAI 的做法可能會影響其他 AI 公司的策略，也可能推動行業(yè)對 AI 模型的透明度和可解釋性展開更廣泛的討論。

自 2022 年底推出 ChatGPT 以來，OpenAI 經(jīng)歷了爆發(fā)式增長。然而，伴隨著快速發(fā)展的還有一系列爭議和高層員工的離職。一些現(xiàn)任和前任員工對公司過快增長，表示出可能影響安全運營方面的擔憂。

今年 7 月，多位民主黨參議員致信 OpenAI 的 CEO 山姆·奧特曼（Sam Altman），就“OpenAI 如何應對新出現(xiàn)的安全問題”提出質(zhì)詢。

此前的 6 月，OpenAI 的現(xiàn)任和前任員工發(fā)表公開信，描述了他們對缺乏監(jiān)督以及缺乏針對想要發(fā)聲的舉報人保護的擔憂。

OpenAI 的這一舉措可能會對整個 AI 行業(yè)產(chǎn)生深遠影響，它為其他公司如何平衡創(chuàng)新與安全提供了可能的模板。

這種做法在某種程度上，類似于 Meta 公司的監(jiān)督委員會。Meta 負責審查 Meta 內(nèi)容的政策決定，并能夠?qū)υ摴颈仨氉袷氐氖马椬龀霾脹Q。

然而，值得注意的是，OpenAI 安全委員會的成員同時也是公司更廣泛的董事會成員，這使得委員會的獨立性和結(jié)構(gòu)還有待進一步澄清。

相比之下，Meta 的監(jiān)督委員會成員都不是該公司董事會的成員，這在獨立性方面可能更勝一籌。

OpenAI 對媒體表示，將尋求“更多方式來分享和解釋我們的安全工作”，并尋找更多機會進行獨立系統(tǒng)測試，從而提高透明度和可信度，以應對公眾和監(jiān)管機構(gòu)對 AI 安全的關切。