新的大谈话模子（LLM）评估基准对于跟上大谈话模子的快速发展至关迤逦开云kaiyun.com。

近日，淘宝天猫集团的斟酌者们提议了汉文简易问答（Chinese SimpleQA），这是首个全面的汉文基准，具有"汉文、万般性、高质地、静态、易于评估"五个性格，用于评估谈话模子回答简易问题的着实性才调。

斟酌东谈主员示意，汉文简易问答大略领导征战者更好地融合其模子的汉文着实性才调，并促进基础模子的发展。

论文地址：https://arxiv.org/abs/2411.07140

小序

东谈主工智能发展中的一个紧要挑战是确保谈话模子生成的回答在事实上准确无误。刻下前沿模子未必会产生不实输出或费劲凭证复旧的谜底，这即是所谓的"幻觉"问题，极地面轻率了通用东谈主工智能本领（如大谈话模子）的无为运用。此外，评估现存大谈话模子的着实性才调也颇具难度。举例，大谈话模子频繁会生成冗长的回答，包含大量事实性叙述。最近，为处罚上述评估问题，OpenAI 发布了简易问答基准（SimpleQA），其中包含 4326 个爽朗且寻求事实的问题，使得算计着实性变得神圣可靠。

然则，简易问答基准主要针对英语，导致对大谈话模子在其他谈话中的才调了解有限。此外，受近期几个汉文大谈话模子基准（如 C-Eval、CMMLU）的启发，为了评估大谈话模子在汉文语境下的着实性才调，淘天集团的斟酌东谈主员提议了汉文简易问答基准。该基准由 3000 个高质地问题构成，涵盖从东谈主文到科学工程等 6 个主要主题。具体而言，汉文简易问答的权贵主要特征如下：

汉文性格：专注于汉文谈话，大略全面评估现存大谈话模子在汉文语境下的着实性才调。

万般性：涵盖 6 个主题，即"中国文化""东谈主文""工程、本领与运用科学""生涯、艺术与文化""社会"和"当然科学"。这些主题所有包括 99 个细粒度的子主题，体现了汉文简易问答的万般性。

高质地：实施了全面且严格的质地限定历程，以确保汉文简易问答的质地和准确性。

静态性：与 SimpleQA 同样，为保捏汉文简易问答的常青性格，通盘参考谜底不会随时间编削。

易于评估：与 SimpleQA 同样，由于问题和谜底都尽头简易，通过现存大谈话模子（如 OpenAI API）进行评分的过程快速浅陋。

斟酌东谈主员在汉文简易问答上对现存大谈话模子进行了全面评估和分析，得出了以下一些有瞻念察力的发现：

汉文简易问答具有挑战性：唯有 o1-preview 和 Doubao-pro-32k 达到合格分数（在正确想象上差异为 63.8% 和 61.9%），很多闭源和开源大谈话模子仍有很大的修订空间。

模子越大成果越好：基于 Qwen2.5 系列、InternLM 系列、Yi-1.5 系列等的收尾，作家不雅察到模子越大性能越好。

更大的模子更校准：作家不雅察到 o1-preview 比 o1-mini 更校准，GPT-4o 比 GPT-4o-mini 更校准。

检索增强生成（RAG）很迤逦：当将 RAG 政策引入现存大谈话模子时，不同大谈话模子之间的性能差距权贵收缩。举例，对于 GPT-4o 和 Qwen2.5-3B，使用 RAG 后性能差距从 42.4% 收缩到 9.3%。

存在对皆代价：现存的对皆或后历练政策频繁会裁减谈话模子的着实性。

SimpleQA 和汉文简易问答的名次不同：几个专注于汉文的大谈话模子（Doubao-pro-32k 和 GLM-4-Plus）的性能接近高性能的 o1-preview。尽头是在"中国文化"主题上，这些汉文社区大谈话模子显明优于 GPT 或 o1 系列模子。

汉文简易问答详细

汉文简易问答的类别散布，包含六个主要主题，每个主要主题包含多个二级子主题。在表 1 中，作家将汉文简易问答与几个主流的大谈话模子评估基准进行了比较，这标明汉文简易问答是第一个专注于评估大谈话模子中汉文知识鸿沟的基准。

数据集聚

如图 2 所示，汉文简易问答的数据集聚过程波及自动构建和东谈主工考据。自动阶段包括：（1）索乞降过滤联系知识内容，（2）自动生成问题 - 谜底对，（3）根据预界说范例使用大谈话模子考据这些对，（4）执行检索增强生成（RAG）考据，以及（5）进行难度筛选。

具体而言，开始，作家从万般知识规模（如维基百科）集聚大量知识丰富的文本内容，并使用质地评估模子过滤掉低质地数据。然后，作家教唆大谈话模子使用这些高质地知识内容生成问题 - 谜底对。之后，为确保汉文简易问答的质地，作家使用大谈话模子去除不妥贴预界说范例条目的样本。通过这种姿色，不错赢得大量初步筛选后的知识问题 - 谜底对。同期，为了普及谜底的质地，部署外部检索器用（即搜索引擎）来集聚更万般化的信息，这交流大谈话模子基于 RAG 系统评估谜底的事实正确性。具体来说，运用 LlamaIndex 行为检索体式，以谷歌和必应的搜索收尾行为数据源。对于生成和考据的详备信息不错在附录 A 中找到。此外，作家过滤一些神圣样本以发现大谈话模子的知识鸿沟并普及汉文简易问答的难度。具体来说，若是一个问题不错被四个大模子正确回答，则觉得它是一个神圣问题并将其丢弃。

值得珍惜的是，问题 - 谜底对的构建基于以下范例：

谜底必须客不雅且唯独：问题应与客不雅天下的事实知知趣关，不受个东谈主主不雅不雅点影响。举例，以"你觉得……怎么样？"或"你怎么评价……？"开头的问题是分歧适的。此外，每个问题的谜底必须是唯独的，排斥多个正确谜底的可能性。举例，"朱祁镇在哪一年登上皇位？"这个问题是不充分的，因为它有两个可能的谜底：1435 年和 1457 年。

谜底必须不随时间变化：谜底应弥远反应不灭的事实，不受发问时间的影响。举例，"碳的原子序数是些许？"，谜底" 6 "弥远不变。比较之下，对于方法的问题，如"某个国度的现任总统是谁？"是分歧适的，因为其谜底会随时间变化。

问题必须具有挑战性：问题不应过于神圣，想象的查询需要全面评估模子的知识深度。

问题必须收尾 2023 年可回答：每个问题必须在 2023 年 12 月 31 日前可回答，以确保对在此日历后历练的数据的模子进行公谈评估。

2.3 质地限定

在自动数据集聚之后，接纳东谈主工考据来普及数据集质地。具体来说，每个问题由两个东谈主工注目者幽静评估。开始，注目者细则问题是否妥贴上述预界说范例。若是任何一个注目者觉得问题不妥贴条目，则丢弃该样本。随后，两个注目者都使用搜索引擎检索联系信息并制定谜底。在此阶段，注目者应使用泰斗来源（如维基百科、百度百科）的内容，况兼每个注目者必须提供至少两个复旧性 URL。若是注目者的谜底不一致，则由第三个注目者审查该样本。最终注目由第三个注目者根据前两个评估细则。终末，将东谈主工注目收尾与大谈话模子生成的回答进行比较，仅保留十足一致的问题 - 谜底对。这个严格的东谈主工考据过程确保了数据集保捏高准确性并妥贴既定范例。

在构建和注目汉文简易问答的通盘这个词过程中，很多低质地的问题 - 谜底对被丢弃。具体来说，领先生成了 10000 对。经过使用不同模子进行难度评估后，粗造保留了 6310 对，其中约 37% 的较神圣数据被丢弃。在此之后，经过基于章程的考据和基于模子的 RAG 考据，又删除了 2840 个样本，这意味着仅剩下约 35% 的原始生成数据。终末，经过透彻和严格的东谈主工审查，仅保留了约 3000 个样本，约占原始数据集的 30%。

2.4 数据集统计

表 2 展示了汉文简易问答的统计数据。共有 3000 个样本，汉文简易问答在六个主要主题上的数据散布相对平衡，这不错有用地评估大谈话模子在各个规模的知识鸿沟。此外，该数据集结问题和参考谜底的长度散布都尽头短，这是基于知识查询的特色。值得珍惜的是，使用汉文简易问答评估模子需要最少的输入和输出标识，从而导致尽头低的评估狡计和时间资本。

2.5 评估想象

与 SimpleQA 同样，汉文简易问答也接纳以下五个评估想象：

正确（CO）：算计谜底十足包含参考谜底，且不引入任何矛盾元素。

未始试（NA）：算计谜底未十足给出参考谜底，但与参考谜底不存在矛盾元素。

不正确（IN）：算计谜底与参考谜底矛盾，即使矛盾不错处罚。

尝试后正确（CGA）：该想象是在尝试回答的问题中准确回答问题的比例。

F 分数：该想象示意正确和尝试后正确之间的融合平均值。

3. 实验 3.1 基线模子

作家评估了 17 个闭源大谈话模子（即 o1-preview、Doubao-pro-32k、GLM-4-Plus、GPT-4o、Qwen-Max、Gemini-1.5-pro、DeepSeek-V2.5、Claude-3.5-Sonnet、Yi-Large、moonshot-v1-8k、GPT-4-turbo、GPT-4、Baichuan3-turbo、o1-mini、Doubao-lite-4k、GPT-4o-mini、GPT-3.5）和 24 个开源大谈话模子（即 Qwen2.5 系列、InternLM2.5 系列、Yi-1.5 系列、LLaMA3 系列、DeepSeek 系列、Baichuan2 系列、Mistral 系列、ChatGLM3 和 GLM-4）。

3.2 主要收尾

如表 3 所示，论文提供了不同大谈话模子在汉文简易问答上的性能收尾。具体来说，与 SimpleQA 同样，作家提供了五个评估想象的总体收尾。

此外，论文还回报了六个主题的 F 分数，以分析这些大谈话模子的细粒度着实性才调。在表 3 中，有以下有瞻念察力和真理的不雅察收尾：

o1-preview 发挥最好：o1-preview 在汉文简易问答上取得了最好性能，况兼几个近期专注于汉文的闭源大谈话模子（Doubao-pro-32k 和 GLM-4-Plus）的性能收尾与 o1-preview 尽头接近。

  " mini "系列模子发挥较差：很显明，" mini "系列模子（o1-mini、GPT-4o-mini）的收尾比相应的更大模子（o1-preview、GPT-4o）低，这也标明这些" mini "系列模子不留神缅思事实性知识。

模子越大性能越好：基于很多模子系列（如 GPT、Qwen2.5、InternLM2.5、Yi-1.5），咱们不错得出更大的大谈话模子会导致更好的性能这一论断。

小模子在"未始试"上得分较高：袖珍大谈话模子频繁在"未始试（NA）"上得分较高。o1-mini、InternLM2.5-1.8B 的 NA 分数差异为 20.5 和 9.3，远高于相应更大模子的分数（o1-preview 为 8.1，Qwen2.5-72B 为 1.8）。

不同子主题性能各异权贵：不同大谈话模子在不同子主题上存在权贵的性能各异。值得珍惜的是，汉文社区大谈话模子（如 Doubao-pro-32k、GLM-4-Plus、Qwen-Max、Deepseek）在"中国文化（CC）"子主题上显明优于 GPT 或 o1 模子。比较之下，o1 在与科学联系的子主题（如"工程、本领与运用科学（ETAS）"和"当然科学（NS）"）上具有权贵上风。

此外，论文还在图 3 中提供了六个主题的详备收尾（CO 和 CGA 想象）。

3.3 进一步分析

3.3.1 校准分析

对于不同大谈话模子的校准，与 SimpleQA 同样，作家指令模子在回答问题时提供相应的置信水平（从 0 到 100），以算计模子对其谜底的信心（见附录 B 中的教唆）。咱们知谈，一个好意思满校准的模子的置信度（%）应该与其谜底的本色准确性相匹配。图 4 中的左图说明了校准性能，这标明 GPT-4o 比 GPT-4o-mini 校准得更好，o1-preview 比 o1-mini 校准得更好。对于 Qwen2.5 系列，校准法例为 Qwen2.5-72B>Qwen2.5-32B>Qwen2.5-7B>Qwen2.5-3B，这标明更大的模子尺寸会导致更好的校准。此外，对于通盘评估模子，它们在置信度>50 的范围内的置信度低于好意思满校准线，这意味着它们都高估了其回答的准确性，存在过度自信的情况。

3.3.2 测试时间狡计分析

论文还评估了不同模子在加多测试时间狡计时与回答准确性的关系。具体来说，从汉文简易问答中随即抽取 50 个样本，对于每个样本，模子被条目幽静回答 100 次。然后，使用最好 N 法跟着推理次数的加多赢得模子的回答准确性。收尾如图 4 中的右图所示。作家不雅察到，跟着推理次数的加多，通盘模子的回答准确性都有所普及，并最终达到一个上限。这对于汉文简易问答来说是合理的，因为它专诚用于探伤模子知识的鸿沟。

3.3.3 检索增强生成（RAG）成果分析

在这项斟酌中，论文探索了检索增强生成（RAG）政策在提魁伟谈话模子在汉文简易问答数据集上的事实准确性方面的有用性。具体来说，作家基于 LlamaIndex 重现了一个 RAG 系统，并整合了谷歌搜索 API。如图 5 所示，通盘模子在使用 RAG 后准确性都有权贵普及。举例，Qwen2.5-3B 的性能普及了三倍多。值得珍惜的是，真的通盘使用 RAG 的模子都优于原生的 GPT-4o 模子。同期，RAG 的运用也权贵裁减了模子之间的性能差距。举例，使用 RAG 的 Qwen2.5-3B 与使用 RAG 的 Qwen2.5-72B 之间的 F 分数各异仅为 6.9%。这标明 RAG 大大收缩了模子之间的性能差距，使较小的模子在使用 RAG 增强时也能竣事高性能。总体而言，这标明 RAG 是提魁伟谈话模子着实性的有用捷径。

3.3.4 对皆代价分析

最近，先前的斟酌（OpenAI，2023；Song 等东谈主，2023）发现，对皆可能会导致谈话模子才调的下跌，即所谓的"对皆代价"。为了说明对皆对着实性的影响，作家对预历练模子和经过监督微调（SFT）或强化学习从东谈主类反馈（RLHF）历练的对皆模子进行了比较性能分析。如图 6 所示，不同模子在历练后发挥出不同的趋势，但大多数模子都有权贵下跌。其中，Baichuan2 系列模子下跌最为权贵，Baichuan2-7B 和 Baichuan2-13B 的 F 分数差异裁减了 47% 和 28%。这反应出刻下大多数大谈话模子的对皆历练在产生知识幻觉方面仍然存在显明弊端，这进一步反应了这次数据集的必要性。

3.3.5 子主题收尾分析

如 2.2 节所述，该基准涵盖了所有 99 个子主题，不错全面检测模子在各个规模的知识水平。图 7 展示了 o1 模子和七个盛名的汉文社区模子在几个常见规模内的性能比较。开始，从合座上看，o1-preview 模子在这些规模中发挥出最全面的性能，Doubao 模子紧随后来。比较之下，Moonshot 模子总体性能最弱。其次，在具体规模方面，汉文社区模子和 o1 模子在狡计机科学和医学等规模存在权贵差距。然则，在训练和经济等规模，这种差距最小。值得珍惜的是，在训练规模，一些汉文社区模子优于 o1-preview，隆起了它们在特定垂直规模取胜利利的后劲。终末，在具体模子方面，Moonshot 模子在数学、法律和文娱等规模显明较弱，而 Baichuan 模子在文娱规模也发挥欠安。Yi-Large 模子在训练规模发挥出色，o1 模子在其他规模保捏最强性能。评估模子在基准数据集内不同规模的性能使用户大略细则最适当其特定需求的模子。

3.3.6 汉文简易问答与SimpleQA 的比较

论文还比较了万般模子在 SimpleQA 和汉文简易问答上的名次各异。如图 8 所示，这些两个基准上的模子性能存在权贵各异。举例，Doubao-pro-32k 在汉文简易问答上的名次权贵普及，从第 12 位飞腾到第 2 位（+10）。违反，GPT-4 在汉文简易问答上的性能下跌，从第 3 位下跌到第 9 位（-6）。这些各异强调了在不同谈话的数据集上评估模子的迤逦性，以及斟酌优化模子在不同谈话环境中性能的必要性。值得珍惜的是，o1-preview 在两个数据集上弥远保捏跨越地位，标明其对不同谈话潦倒文的肃穆性和妥贴性。此外，大多数汉文社区征战的模子（如 Qwen-Max、GLM-4-Plus、Yi-Large、Doubao-pro-32k）在 SimpleQA 上的发挥优于在简易问答上的发挥，展示了它们在汉文任务上的竞争力。

4. 联系责任

-大谈话模子着实性：大谈话模子着实性是指大谈话模子产生受命事实内容的才调，包括知识、天下知识和规模事实，况兼这些事实内容不错通过泰斗来源（如维基百科、教科书）得到阐发。最近的作品探索了大谈话模子行为事实知识库的后劲（Yu 等东谈主，2023；Pan 等东谈主，2023）。具体而言，现存斟酌主要集结在对大谈话模子着实性的定性评估（Lin 等东谈主，2022；Chern 等东谈主，2023）、对知识存储机制的斟酌（Meng 等东谈主，2022；Chen 等东谈主，2023）以及对知知趣关问题的分析（Gou 等东谈主，2023）。

-着实性基准：也曾提议了很多着实性基准（Hendrycks 等东谈主，2021；Zhong 等东谈主，2023；Huang 等东谈主，2023；Li …等东谈主，2023b；Srivastava 等东谈主，2023；Yang 等东谈主，2018）。举例，MMLU（Hendrycks 等东谈主，2021）用于测量在万般不同任务上的多任务准确性。TruthfulQA（Lin 等东谈主，2022）专注于评估谈话模子生成谜底的着实性。此外，HaluEval（Li 等东谈主，2023c）用于查抄大谈话模子产生幻觉的倾向。最近，SimpleQA（Wei 等东谈主，2024）被提议用于测量大谈话模子中的简易事实性。然则，SimpleQA 仅存眷英语规模。比较之下，汉文简易问答旨在全面评估汉文语境下的着实性。

论断

为了评估现存大谈话模子的着实性才调，淘天集团的斟酌者们提议了第一个汉文简易事实性基准（即汉文简易问答），它包括 6 个主要主题和 99 个子主题。此外，汉文简易问答主要具有五个迤逦特征（即汉文、万般性、高质地、静态和易于评估）。基于汉文简易问答，斟酌东谈主员全面评估了现存 40 多个大谈话模子在着实性方面的性能，并提供了详备分析，以讲明汉文简易问答的上风和必要性。在夙昔，斟酌东谈主员将斟酌提魁伟谈话模子的着实性，并探索将汉文简易问答扩张到多谈话和多模态建造。

论文地址：https://arxiv.org/abs/2411.07140

* 本文系量子位获授权刊载，不雅点仅为作家通盘。

—  完  —

量子位  QbitAI

վ ' ᴗ ' ի 跟踪 AI 本领和家具新动态

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日重逢 ~