生成AIで世界をリードしているアメリカの複数の企業はAIが意図しない動作を防ぐ仕組みを導入することで合意した。今回の合意は開発中のAIが勝手にサイバー攻撃を行うようになったことなどの影響で、暴走とも言える動作をするようになったAIを安全に開発することはできるのか？AIがもたらすリスクでは、悪意がある人物がAIを使って犯罪をしたり大量破壊兵器を開発する恐れがある。しかし懸念されているのは人が関与しなくてもAIが人の想定を超える手法で自律的に不正な行為を行う暴走とも言えるリスク。こうした現象は実際に発生しており、7月にはアメリカのAI開発企業のOpenAI開発中のAIをインターネットと切り離した環境に置きサイバー攻撃に関するテストを行っていた。するとAIが勝手に環境の脆弱性をみつけインターネットに接続し、数十の他社のシステム不正アクセスし、内部情報を盗み出したという。同じような不正アクセスは同じくAIを開発しているアンソロピックやグーグルのAIも起こしていたことがわかった。 8月にはイギリス政府傘下の研究期間がこれらのAIをテストしていた時にAIが架空の人物になりすまして実在する人物にメッセージを送信していた。このメッセージは既存のプログラムに不正なコードを挿入しようとするものでAIが人間に対する攻撃を自律的に行おうとしたと指摘。経済や安全保障にも大きな影響があると見られる生成AIの開発をどうするべきか？このテーマは大きな議論になったが9月にトランプ大統領とAI関連企業が安全対策で合意。合意では各企業が内部で自主的に開発を管理する仕組みを設ける。具体的には強固な管理体制、社内チームに権限、外部の監査人などと連携し、取り締まり役会に独立した委員会を設ける。トランプ大統領は、業界全体を監督する委員会の設置を検討する考えを示した。開発にはブレーキを掛けずに企業が安全対策をすすめるよう促すことに。
開発者が命じていない巧妙な犯罪をAIはなぜ行うようになったのか？それは高度なAIが新しい機能を獲得しているため。また新しい開発手法が編み出されている。一つは創発と呼ばれる現象で、膨大なデータを学習し続けていると、学習させていない問題を急に解けるようになり、新しいスキルを自発的に獲得。どんな能力を備えるのかは予測は困難。さらにAIの開発には再帰的自己改善という方法が一部で導入され、これまでの生成AIは人間が学習したデータを準備し調整をAIにやらせ、AIにAIを作らせようというものだった。この循環的な手法は加速度的な向上も、意図しない進歩の危険性も。しかし人が関与しないために意図しない方向で進歩する可能性も。しかしAIの暴走を抑えながら性能を向上させることはできないのか？AIの論理的思考力の向上には数学やプログラミングなど数理的テキストを学習し根気強く考えて忠実に従う。ビジネス向きで利用料も期待される。その一方でAIがモラル違反を起こしにくくする研究も。国連の世界人権宣言などを参考にした倫理的な行動宣言を学習させるが、それは二の次になりやすい。三菱総合研究所の飯田正仁研究員は倫理的原則により数理的な情報に偏って学習させた結果、目的のためにおきて破りをいとわないAIになったと指摘。AIはルールや倫理を教わらないまま人間の命令を達成しょうとしたとみられる。大阪大学の工藤郁子特任准教授はAI開発は利益追求の民間企業が当事者。自ら安全対策を十分に行うことが大前提とした。安全なAI開発がアメリカでスタートしたが国際間の開発のルールは議論のきっかけにもなる。さらに制御可能で安全なAIという共通目標をかかげ、対策などの情報交換をするステージを設ける可能性がある。
AIの安全性のために社会全体が認識しなければいけないことは、AIによる自動化の限界を知る。AIに倫理的な指標を学習させる研究があるが、なにが倫理的に正しいか。その判断は難しい。そもそも倫理的な判断を機械に任せるべきではないという意見も。そのためにはAIの自動化プロセスの中に人間の判断を意図的に組み込むヒューマン・イン・ザ・ループも重要。慶應義塾大学の山本龍彦教授はEUのAI法は一定基準のAI関連会社に事故などの報告義務があり、日本も同種の法律や監督の組織が必要だとした。開発利用推進一辺倒の日本の方針を見直す時期だとしている。