去年9月台風15号に襲われた静岡県。街全体が水没したようなフェイク画像がSNSを中心に拡散した。静岡県は記者会見で県民に注意を呼びかけた。作成者は生成AIを使用した画像であることを認めた。生成AIは特別な技術も必要なくウェブサイトにアクセスすれば誰でも無料で使用できる。人が簡単な指示をすると膨大なデータをもとに画像や文章を生成する。フェイク画像は政治的な世論工作にも使用され、SNS上で見つかった10人のアカウントは台湾の研究機関によると、すべてAIで作られたフェイクの人物だという。中国語で台湾や欧米諸国を批判する内容を投稿し何者かが社会を分断を煽る情報工作に利用したとみられる。多くの人が買い物の際に参考にする通販サイトのレビューにも生成AIで作った文章をみられるようなものを発見。その専門家は数百件の不審な文章を発見したという。首にかけて使う冷却グッズのレビューには接続語を多用するなど、生成AIの商品のレビューを書かせるとレビューと同じような文章がつくられた。生成AIを使用したレビューについて通販サイト側のAmazonは自分の体験に基づかないなど、ガイドラインに違反する不正レビューには厳しく対処していきたいとした。
さらに特殊詐欺事件でもAIを使用した新たな手口が。今年5月に中国のIT企業の社長のもとに友人からビデオ通話がかかってきた。お金を貸してほしいと言われ、疑わずに指定口座に振り込んだ。しかし電話の先の友人は顔も声もAIで作られていたという。情報セキュリティー会社が世界7カ国で行った調査では10人に一人がAI音声詐欺を見聞きしたことがあると回答した。フェイク音声はAIを使用すれば簡単に作ることができるという。AI技術の開発企業が宇野常寛の動画でフェイク音声を作成した。宇野はそれを聞いて間違いなく自分だと答えた。西田はなりすましの電話詐欺についてはテレビ電話を普及させればいいと思っていたが、自分たちの顔が公にでていればこうして動画も作られてしまい、家族のもとに届けられてしまったら信じてしまうと答えた。山口はさらにコストパフォーマンスの面でも技術のハードルが低いのに大きな利益を得ることができてしまうと答えた。またAI問題の難しい所にはリテラシーの問題を越えており、人間の粋を超えているので技術的な対抗が必要になってくると答えた。