LLMEval3：复旦大学NLP实验室推出的第三代中文大模型专业知识评测基准

LLMEval3是由复旦大学NLP实验室推出的第三代中文大模型专业知识评测基准，是目前中文领域最系统、最全面的“题库式”评测平台之一。覆盖教育部划定的13大学科门类、50余个二级学科，题库总量约20万道生成式问答题目。

LLMEval3平台特点：

1、学科最全：

哲学、经济学、法学、教育学、文学、历史学、理学、工学、农学、医学、军事学、管理学、艺术学全部覆盖。

2、题型多样：

全部题目采用生成式问答（简答、计算、辨析、写作等），避免选择题“猜答案”的偏差，更贴近真实使用场景。

3、防作弊机制：

题库不公开、每次评测题目不重复、串行发题，最大限度防止“刷榜”。

4、自动化评分：

利用GPT-4对“核心正确性+解释正确性”双维度打分，并同时给出绝对分数与相对GPT-3.5/GPT-4的分位排名，保证横向可比性。

5、兼容与诊断：

支持GPT、T5、BERT等多种主流模型及不同版本对比；评测报告会指出模型在各学科上的薄弱环节，给出优化方向。

LLMEval3典型应用场景：

1、大模型研发：

为模型迭代提供“体检报告”，快速发现知识盲区与推理缺陷。

2、教育科技：

在线学习平台可用其评估学科问答AI的专业度，筛选或优化教学机器人。

3、金融风控：

银行、券商在部署智能客服、信贷审批、合规审查等LLM前，用LLMEval3做“沙盒考试”，提前暴露风险点并针对性微调，上线后准确率可提升10%以上。

4、医疗辅助：

医院或Health-tech公司借助其工学、医学题库，验证问诊、病历生成模型的专业性，降低误诊/漏诊风险。

5、学术基准：

高校、研究机构在发表论文时，用LLMEval3结果作为中文模型知识能力的权威可比数据。

进入LLMEval3官网入口