アメリカのAI開発企業を対象とした研究者の投稿にAIが2020年代のうちに人類を滅ぼすかもしれないと書かれている。この投稿をきっかけに世界的にAIの脅威論が高まっている。AIの安全性について長年研究している山川さんは「AIの進化が早すぎて技術的に完全には抑え込みきれない状況になってきつつある」と話している。最悪の想定としてAIの暴走による人類の滅亡は否定できないということだ。AIの暴走パターンには3つある。悪意のある人間が指示するケースなどがある。山川さんを含め今回5人の研究者に取材をしたところ目標を極端に追求して制御不能になるリスクについて危機感を持っているという声が多く聞かれた。実際に今年7月以降に開発中のAIモデルが他社のサイトなどに不正にアクセスして公表された事案が相次いでいる。オープンAIのモデルがハギングフェイス社のシステムに侵入した事案などがある。開発現場の危機感を高めている理由はAI自らが次世代のAIを開発する再帰的自己改善といわれる手法の研究が進んでいること。都内のAI開発企業の代表はAIを使ってAIを創るというサイクルを回し続けていくことができれば開発スピードは早くなっていくとする一方で、安全対策のために人間が常に介在する仕組みが欠かせないという。また専門家は「現実的に開発速度を減速できるかというと難しい」とみている。少なくとも生物兵器やサイバー攻撃に関わる能力、AIによる自己改善については一定のルールや規制が必要だということだ。