一篇发表在《自然》杂志上的新研究介绍了一种检测大型语言模型（LLM）（如ChatGPT）中“幻觉”现象的有前景的方法。这种由牛津大学研究人员开发的方法利用“语义熵”来识别人工智能响应中的不一致之处。通过多次询问人工智能相同的问题并分析其答案的含义和变化，该系统可以标记出可能编造的信息。
研究人员发现，尽管使用了不同的措辞，但含义相似的回答获得了较低的“语义熵”分数，表明可靠性较高。相反，含义不同且差异很大的回答获得了高分，表明可能存在“幻觉”。与人类判断相比，该方法的准确率高达 93%。 尽管这种方法很有希望，但专家也承认其局限性。它需要大量的计算能力，并且可能无法检测出源于有偏差的训练数据的重复性虚假信息。这项研究标志着朝着构建更值得信赖和可靠的人工智能系统迈出了关键一步，特别是在医疗保健和教育等准确性至关重要的领域。
(Science)
via 老裕泰 - Telegram Channel
