AIは必ずしも正しいことを言うわけではないことに注意。乾健太郎教授は「AIは人が書いた文章から知識を得たり、“ある事例には、こう答える”ということを訓練したりしているが、それには限界がある。ユーザーの質問が訓練の範囲外だったときに、無理に文章を作ってそれらしく答えるため、誤った回答が生成されることがある」と指摘する。