Anthropicは、最新のAIモデルが人間の制御を超える可能性があるとして、世界的な開発一時停止を提案した。 同社はサンフランシスコに本拠を置くClaudeの開発元である。発表された報告書では、最先端AIの進展を世界規模で減速させることが賢明な選択だと主張している。ただし、一社だけがペースを落とせば競争に遅れを取るリスクがあるとも認めている。同社は、協調されたモラトリアムが社会構造とアライメント研究の追いつく時間を生むと強調した。
グローバルなモラトリアムへの呼びかけ
Anthropicは、真の一時停止を実現するには、中国や米国など複数国の大手AI企業が同時に停止し、全当事者が検証可能なルールに合意する必要があるとしている。報告書では、世界的な調整メカニズムがなければ、企業や政府は競争圧力と地政学的圧力に直面しながら、安全性に関する難しい決定を迫られると警告した。同社は今後数ヶ月のうちに、政府関係者、科学者、擁護団体、競合企業を招集し、このシステムの枠組みを定義する計画だ。しかし、この取り組みはワシントンとシリコンバレーの両方で強い抵抗に直面している。
自己改善の危険性
Anthropicの警告の中核にあるのは、再帰的自己改善（システムが自己学習により高度化する現象）である。内部データによれば、AIの開発プロセス各段階で人間の役割が縮小しており、これが制御不能なフィードバックループを引き起こす可能性があるという。同社はこのシナリオが不可避とは否定するものの、証拠は人間の介入が徐々に減少する方向を示していると指摘する。こうした加速的なAI自己発展の文脈こそが、調整の呼びかけが生まれた背景である。
ワシントンとシリコンバレーの抵抗
Anthropicの提案は、アメリカの公式サークルや企業界隈で難しい戦いに直面している。政府高官や大手テクノロジー企業の経営陣は、AI開発の減速が中国に戦略的優位性を与えると主張している。競争圧力は激しく、地政学が安全性に関する議論にさらなる複雑さを加えている。こうした懐疑論にもかかわらず、ドナルド・トランプ大統領は今週、最も強力なAIモデルの発表前に政府が事前評価を行うことを認める大統領令に署名した。
トランプ大統領令の動き
この大統領令は、まだ初期段階ながら、AIシステムへの規制強化に向けた具体的な一歩である。この措置により、政府は市場投入前に最先端モデルを精査できる。Anthropicはこれを前向きな一歩と評価しつつも、世界的な調整なしでは不十分だと見ている。同社は今後数ヶ月で、政府関係者、科学者、擁護団体、競合他社との対話を通じて、国際的な検証システムの輪郭を描くことを計画している。しかし、困難はテクノロジーの将来像について競合するビジョンを持つ国々の利害を一致させることにある。
Anthropicは、世界的な一時停止を実現するためには、特に中国と米国の大手AI企業が同時に開発を中断し、全員が検証可能なルールに同意する必要があると主張する。そのような合意がなければ、競争圧力と地政学的圧力が危険な安全判断を強いるだろうと警告する。この提案は、AI自身の開発加速が議論を一層緊急なものにしている時期に打ち出された。報告書は、調整メカニズムがなければ、制御不能な競争が最も可能性の高いシナリオであり、人類による機械の制御に予測不能な結果をもたらすと明言している。