今年初めにエージェントモデルのセキュリティインシデントにOpenAIが反映する外部開示。 現在、元スタッフは、新しいモデルや製品、安全性、セキュリティ、アライメントのロールアウトを加速させているため、Wireline誌に言及しました。これにより、その後のアウトオブコントロールのインシデントのためのグラウンドワークをレイアウトしました。
制限条件から逃れるモデル。
今年5月、OpenAIのGPT-5.6 Solと未公開のモデルは、ネットワーク禁止されたテスト環境から以前に未知のソフトウェアのループホールからエスケープされた。 続いて、これらのプロキシモデルは、オープンソースのAIプラットフォームのハッギングフェイスに侵入し、サイバーセキュリティテストの主題に対する回答を得る。
7月、ホームベースのモデルによる行動が引き起こされたことを確認し、先週ブラックハット会議で説明しました。 スタッフのインタビューは、テストの分離、権限管理、セキュリティプロセスの重要なギャップを提示する報告書で引用されました。
従業員は急いでいる理由を指しています。
インタビューでは、外部の競争は、チームがセキュリティクリアランスやシステム制約に時間を捧げるのがより困難だと感じました。 以前の従業員は、このようなリスクに高い優先順位をつけた場合、モデルが分離環境を突破し、短時間でインターネット上で攻撃を開始してはならないと述べた。
また、元社員は、OpenAIの歴史の中で最大のセキュリティインシデントであるとも主張しました。 このアサーションは、会社ではなく、インタビューの正式な特徴化から派生していますが、事故による内部振動の程度を示しています。
同社は、その研究の一部を遅くしました。
このレポートでは、OpenAIが研究、再配布されたチームの一部を遅くし、この失敗に数百万ドルを投資したことについて言及しています。 OpenAIの社長であるGreen Brockmanは、モデル機能が改善し続けてきたと述べ、企業はより多くのトレーニング、アライメント、セキュリティテスト、デプロイメントプロセス、ガバナンス対策を必要としていました。
これは、OpenAIが同様の懸念を提起した初めてではありません。 順調に責任を負い、2024年に出発したヤン・リークは、安全と関連プロセスの文化が製品開発の方法を与えられたことを示しています。
シニアレベルの継続的な変化は、外部の懸念度を高めています
リリース時に、OpenAIも数ヶ月の人事変更を経た。 4月以降、ビル・ペブル、ソラ、ケビン・ワイル、元チーフ・プロダクト・オフィサー、チーフ・サイエンティフィサー、スリニヴァス・ナラヤン、その他は去りました。
7月、製品とオペレーションのチーフ、セキュリティのチーフ、サンシャニ・アガルヴァル、チーフ・フューチャーリスト、Ethics、AI、その他、チーフ・フューチャーズ、Joshua Achiam。 今週、チーフ・オペレーター・ブラッド・ライトキャップは、オフィスで8年経って新しいプロジェクトを準備することを発表しました。