進化する生成AIには問題もある。ノルウェーの男性はチャットGPTに自分がどんな人物かを聞いたところ、「自分の息子2人を殺害、もう1人の息子の殺人未遂で最高刑である懲役21年の判決を受けた」という事実ではない情報が出てきた。これは全くのデタラメ。権利保護団体のnoybは男性に代わって苦情を申し立て、チャットGPTをー運営するオープンAIに対し、名誉を毀損する情報の削除や罰金を科すよう求めた。アメリカの弁護士が裁判で提出した書類に、実際には存在しない裁判の判例が含まれていた。書類は生成AIを使って作成し、弁護士がチェックしないまま提出していた。裁判所は弁護士が調査義務を怠ったとして1万5000ドルの制裁金を科すべきだとする勧告を出し、制裁金6000ドルを命じた。生成AIは様々な情報を事前に学習し、類推を重ねることで回答を作り出す。学習したデータが偏っていたり誤っていたりした場合は類推を間違えてAIの回答は誤ったものになる。データが少ない場合や質問があいまいな場合にもなんとか回答しようと知ったかぶりをして間違えることがある。国立情報学研究所・佐藤一郎教授は生成AIは単語の意味を理解しているわけではなく文章が正しいかどうかも判断できない、AIには無知の知がないので、知らないことを認識できないので知らないことを聞かれても類推して一生懸命答えてしまうという。生成AIを使用している企業は46.8％、大学生で利用経験ありは68.2％。