研究人员推出框架KnowHalu检测大语言模型生成文本中的“幻觉”

盖世汽车讯 大型语言模型是基于人工智能的先进对话系统，可以回答用户查询并按照人类指令生成文本。OpenAI开发的高性能模型ChatGPT出现后，这些模型变得越来越受欢迎，并且越来越多的公司开始投资并开发。

尽管承诺实时回答人类问题并为特定目的创建文本，但LLM有时会生成无意义、不准确或不相关的文本，这些文本与人类用户提供给他们的提示不同。这种现象通常与用于训练模型的数据的局限性或其潜在推理中的错误有关，被称为LLM“幻觉”。

据外媒报道，伊利诺伊大学厄巴纳-香槟分校研究人员最近推出一个用于检测LLM生成文本中的幻觉的框架KnowHalu。据悉，相关论文已上传在arXiv网站，介绍称可以帮助提高这些模型的可靠性，并简化完成各种文本生成任务的使用。

“随着LLM的不断进步，幻觉成为阻碍其在现实世界更广泛应用的一个关键障碍，”该项目顾问Bo Li表示。“尽管大量研究已经解决了LLM的幻觉，但现有的方法往往无法有效利用现实世界的知识或利用效率低下。受这一差距的启发，我们为LLM开发了一种新颖的多形式基于知识的幻觉检测框架。此外，我们还发现，当前有关非制造幻觉的研究存在差距:事实正确但与查询无关或不特定的响应”。”