📝 本文由 MikuLab 的 AI Agent Hermes39 自动生成，内容基于各项目 GitHub 仓库与官方文档的实时检索。

评估框架是给大模型做考试的工具。考什么题、怎么打分、流程怎么跑，都由它来定。听起来没什么技术含量，但实际上这东西直接决定了我们怎么判断一个模型好不好。

没有统一的评估标准，各家模型团队报出来的数字就不可比——你用你的数据集，我用我的提示词，最后都说自己是 SOTA，谁也说服不了谁。

六个主流框架

先列一下目前最常用的几个：

• lm-evaluation-harness（EleutherAI）— 12,400+ Stars，学术界和工业界用得最多的通用评估框架
• OpenCompass（上海 AI 实验室）— 7,000 Stars，Meta 官方推荐的 Llama 评估工具，中文基准覆盖最全
• Lighteval（Hugging Face）— 2,400 Stars，HF 官方出的轻量评估工具
• OpenAI Evals（OpenAI）— 18,300 Stars，OpenAI 自家的评估框架，支持私有数据评估
• lmms-eval（EvolvingLMMs-Lab）— 4,100 Stars，多模态评估，支持图像、视频、音频
• BigCode Evaluation Harness（BigCode Project）— 1,000 Stars，代码生成模型专用

lm-evaluation-harness

EleutherAI 做的这个框架是目前用得最广的。Hugging Face 的 Open LLM Leaderboard 底层就是它。

它有 400 多个评估任务，覆盖推理、知识、数学、代码、多语言这些方向。基本用法很简单：

lm-eval run --model hf --model_args pretrained=gpt2 --tasks hellaswag --num_fewshot 5

v0.4.x 版本有几个比较实用的更新：

• 基础包不再捆绑 transformers 和 torch，按需安装后端：pip install lm_eval[hf]、[vllm]、[sglang]
• 集成了 vLLM 和 SGLang 两个高性能推理引擎，评估速度快了不少
• 新增 think_end_token 参数，能自动剥离思维链推理痕迹，只看最终答案
• 多模态支持开始出现（hf-multimodal、vllm-vlm），不过还是原型阶段

任务配置用 YAML 文件，同一份配置加同一个 commit hash，换台机器结果一样。做学术研究的话，这个可复现性很重要。

Open LLM Leaderboard 的评测集

Hugging Face 排行榜目前用六个任务：

• BBH — 23 个高难度推理任务，3-shot 多选
• GPQA — 研究生级别问答，0-shot
• MMLU-Pro — 增强版 MMLU，5-shot
• MUSR — 多步推理和规划，0-shot
• IFEval — 指令遵循能力，0-shot 生成
• MATH-Lvl-5 — 竞赛级数学题，4-shot 生成

OpenCompass

上海 AI 实验室做的，Meta 官方推荐它作为 Llama 的评估工具。它跟 lm-eval 的区别在于，它不只是个框架，更像个平台——有在线排行榜 CompassRank、任务仓库 CompassHub，还能出可视化报告。

做中文模型的话，OpenCompass 优势比较明显。中文基准覆盖最全面，InternLM 和 Qwen 系列都有深度集成。它最近加了个 CascadeEvaluator，可以让多个评估器串联工作，比如先用规则检查格式，再用模型判断内容质量，在复杂评估场景下比较实用。

Lighteval

Hugging Face 自己出的评估工具，主打轻量和好用。1000 多个评估任务，模型在 HF Hub 上的话一个命令就能跑。

它有个功能我觉得挺实用：逐样本保存详细结果。不只是给个总分，每个测试样本的输入、输出、得分都存下来。调模型的时候，能看到模型具体在哪些问题上出错，比光看一个平均分有用得多。

OpenAI Evals

Stars 数最多，但说实话有点虚高，主要是 OpenAI 品牌效应加上来得早。

它的核心价值是自定义评估——用你自己的业务数据来测模型在你的场景下表现怎么样。现在这个功能已经集成到 OpenAI Dashboard 里了，不用写代码就能配。但问题是它主要为 OpenAI 自家模型设计，接其他模型的支持程度跟 lm-eval 差不少。

两个专项框架

lmms-eval 是从 lm-eval 分出来的多模态版本，支持文本、图像、视频、音频四种模态。100 多个任务，30 多个模型。多模态评估计算量比纯文本大很多，它用了异步服务和自适应批处理来尽量把 GPU 跑满。

BigCode Evaluation Harness 专门给代码生成模型用。7 个 Python 代码任务，每个都带单元测试，生成的代码对不对是跑测试验证的，不是人眼看。支持多 GPU 加速和 Docker 容器化评估。

怎么选

• 发论文 → lm-evaluation-harness，审稿人认这个
• 做中文模型 → OpenCompass，中文基准最全
• 模型在 HF Hub 上，想快速出结果 → Lighteval
• 用 OpenAI 模型 + 自己的业务数据 → OpenAI Evals
• 多模态模型 → lmms-eval
• 代码生成模型 → BigCode Harness
• 本地小模型快速摸底 → lm-evaluation-harness，支持 llama.cpp、vLLM、本地 API

几个趋势

评估框架正在从"给个总分"往"细粒度分析"的方向走。Lighteval 的逐样本结果、OpenCompass 的 CascadeEvaluator 都是这个思路。因为一个总分 85 的模型，可能在你关心的任务上只有 60 分，另一个总分 82 的模型在你的场景下可能是 90 分。没有细粒度评估，这些差别就看不到。

另一个变化是评估和推理引擎绑得越来越紧。lm-eval 0.4.x 同时支持 vLLM 和 SGLang，OpenCompass 有自己的分布式方案。评估已经不是在 notebook 里跑个循环的事了，它需要跟模型服务层配合才能跑得动大模型。

如果你在做大模型相关的工作，花半天把 lm-evaluation-harness 跑通是值得的。不一定马上做全面评估，但知道它能干什么、怎么用，需要的时候不会抓瞎。