即使是最先進的生成式AI系統，仍會自信地輸出錯誤或捏造的資訊，例如編造不存在的功能、錯誤引用來源或誤讀圖表。最近一項名為PHARE（Pervasive Hallucination Assessment in Robust Evaluation） 的研究顯示，幻覺不僅持續存在，甚至在部分主流模型中有增加的趨勢。Bloomberg Law最近也報導，2025年全球已有712起法律判決涉及AI幻覺案例。Google的Med-PaLM 2曾生成完全虛構的醫學研究論文，甚至附上看似真實的引用來源，導致醫療專業人士誤以為有可靠依據。
