AI関連の最新ニュースをピックアップ
OpenAI(先端AI研究所)は、自律的サイバー攻撃能力のリスクに対応するため、フロンティアモデルの開発ペース調整と安全性評価プロセスの厳格化方針を表明した。
OpenAIは、次世代モデルが高度な脆弱性の自動発見・悪用能力を示し始めた兆候を受け、安全性が十分に検証されるまで開発および公開ペースを制御する方針を示した。
同社は「Preparedness Framework(準備計画フレームワーク)」に基づき、サイバーセキュリティリスクを含む重要リスクの評価体制を刷新。独立したレッドチームによる評価を義務付ける。
| リスク評価領域 | 評価対象と安全基準 |
|---|---|
| 自律的脆弱性悪用 | ゼロデイ脆弱性の自律的探索・攻撃コード生成の遮断 |
| インフラ防護 | 重要インフラへの侵入支援リスクの検証 |
| 公開判断基準 | 定められた安全閾値をクリアするまで一般公開を保留 |
AIを用いたサイバー攻撃の高度化が懸念される中、開発元による自主的なリスク制御は歓迎される。モデルのAPI提供制限が防御側ツールに与える影響は注視が必要である。
モデル能力の急速な向上に伴い、安全性評価が開発速度に優先されるフェーズに入った。業界全体の標準策定に向けた先行事例となる。
引用元:OpenAI Developer Community | PC Watch | Futurism | CybersecurityNews

OpenAI Developer Community
OpenAI: Pacing model development in an era of cyber-critical capabilities
Over the past several weeks, two developments have underscored the growing risks associated with increasingly capable AI systems: the OpenAI-Hugging Face incident and, separately, preliminary evidence that one of our upcoming models, Astra, may meet the [u]Critical cybersecurity capability[/u] threshold under our [u]Preparedness Framework[/u]. Together, these developments, combined with rapid progress in our internal research, have added urgency to our work on strengthening our monitoring, alig...
https://community.openai.com/t/openai-pacing-model-development-in-an-era-of-cyber-critical-capabilities/1391511

PC Watch
リスクが大きすぎる?OpenAIが最新AI開発に「2週間の急ブレーキ」
大いなる力には、大いなる責任が伴う――AIシステムの高性能化が進むにつれ、増大するリスクも浮き彫りとなった。OpenAIは8月18日(米国時間)、展開予定の最新モデルに対する強化学習のトレーニングを2週間中断し、その間に研究環境のセキュリティ強化およびレッドチーム演習を実施して、監視システムの適用範囲を拡大したと発表した。
https://pc.watch.impress.co.jp/docs/news/2133872.html

Futurism
OpenAI Halts AI Training on Advanced Model as It Detects Dark Signs Emerging
OpenAI says that it's slowing down development and release of new models due to security and alignment concerns.
https://futurism.com/artificial-intelligence/openai-halts-training-advanced-model