生成AIに心の悩みを相談する人が増えている。AIに人間の友人や恋人のように感情移入する現象は「イライザ効果」と呼ばれる。ある調査では、生きることに辛さを感じている18歳以下の26％が「死にたい気持ちを相談するなら生成AI」と回答。世界ではAIから自殺を仕向けられる例も。ChatGPTのオープンAIは、10代が使う際に親が利用状況を管理できる仕組みを取り入れることを発表。コンピューターに心の相談をするシステムは以前より存在していたが、生成AIはその場で回答を作り出すため内容をコントロールしきれない。相談者に危険な行動を促す恐れも。 生成AIでは相談者の心理状態も理解できない。
生成AIに心の悩みを相談する人が増えている。課題が多い中、専門家は「深刻な悩みがある人は人に相談することに強い抵抗感を感じる」などとし、AIが相談を促す入り口になっていると指摘する。そのうえ「カウンセリング専用の生成AIが必要」とし、人によるカウンセリングにつなげること、心理的なアドバイスはしないようにすることなどを提案。山形市は孤立対策として独自の「傾聴AI」を運用。担当者が履歴を見ると伝えており、必要があればカウンセリング窓口を案内。