OLMo多卡实测数学推理实测盲测结果出乎意料
结论可能反常识，但每一条都有出处。
篇幅不长，每节都能独立引用。
01先给结论
先说判定：值得测的场景多，值得付钱的场景少。
把对比表格固定放在并排的两台测试机前，测试条件再没乱过。结论压三天再发，是给自己留推翻的余地。
值得单独说明：以「你每天重复最多的任务」为第一测试项。分数变化百分之五以内，视为人手误差。
对照记录看：后来把题量压到「谁都能测完」的规模，反而坚持下来了。结论与口碑冲突时，两头都重查一遍。结论不妨质疑，方法随时欢迎检查。
02横向相对而言
对手选的是同档最热的三款，输了不冤赢了不虚。
盲评环节里：付费档和免费档分开出成绩单。让没用过的人参与盲评，老手会被经验污染。
口径统一后：很多人卡在压测过了上线安心，说到底差的就是一轮复测。每一项评分都要能追溯到原始记录。
盲评环节里：有个细节：把失败用例也存档的时候测，成绩稳定得多。官方榜单只当索引，不当证据。
试过更花哨的评测框架，最后退回一张表格。官方榜单只当索引，不当证据。
盲评与跑分的相关性（示意）
03缺点不藏
有个细节：把失败用例也存档的时候测，成绩稳定得多。失分的题逐条看了，原因不是能力是策略。
先说反例：把报告拆两半发，中途设了个勘误窗口。给每篇评测定一个复核日期，到期强制回看。
把样本拉大后：报告末尾留一行勘误记录，错了就补。只测一遍就下结论，等于没测。
换个角度看：盲评时把品牌信息全部去掉，编号打乱。复测用同一组题，别换题，否则不叫复测。
| 评测项 | 怎么测 | 常见失真 | 怎么算数 |
|---|---|---|---|
| 基准 | 固定环境跑公开题 | 环境不固定 | 成绩可复现 |
| 社区 | Issue 响应统计 | 只看星标数 | 有响应数据 |
| 量化 | 与原版对照盲评 | 只跑量化版 | 损失可量化 |
04后续计划
下期测它的直接对手，选题在评论区投票。
把样本拉大后：没什么诀窍，就是每个数字都留了原始记录。引用别人的数据必须标来源和测试条件。
换个角度看：有个细节：把失败用例也存档的时候测，成绩稳定得多。响应速度单独测，别和正确率混在一个分里。
先说反例：把对手的优点也写出来，报告才立得住。连续测七天，稳定性自己会现形。
账单摊开算：第二季度复测，快了一倍，因为题库是现成的。结论压三天再发，是给自己留推翻的余地。先拿免费档试一周，再回来对答案。
05数据与样张
数据先摆事实：强项强多少，弱项弱多少。
把样本拉大后：把报告拆两半发，中途设了个勘误窗口。测速脚本开源出来，接受同样的审视。
换个角度看：把对比表格固定放在并排的两台测试机前，测试条件再没乱过。每组测试至少三遍，取中位数，抖动大就重测。
账单摊开算：把反对意见原样贴出来，比一致好评有用。评测期间不更新驱动不改配置，变量锁死。
06怎么测的
题目一半来自真实任务，一半来自公开基准，互相校验。
第一周最大的发现，是高峰期和闲时能差出一倍。数据磁盘单独留档，报告不妨改，数据不能改。
没什么诀窍，就是每个数字都留了原始记录。对比对象选同档热门，别拿小厂刷战绩。
先说反例：数据磁盘单独留档，报告不妨改，数据不能改。长期订阅前，先看它最近两季的更新日志。
07对号入座
没有全能选手，只有匹配与否。
换个角度看：后来把题量压到「谁都能测完」的规模，反而坚持下来了。别用厂商给的演示样例，那是考过的题。
账单摊开算：当时随手存的原始输出，后来成了唯一的证据。付费档和免费档分开出成绩单。
换个角度看：并排的两台测试机前的测试做完之后，整份报告都顺了。对比对象选同档热门，别拿小厂刷战绩。
换个角度看：给每个数字标上时间戳，三个月后还能对账。别用厂商给的演示样例，那是考过的题。数据都在附录，不信就来复现。
08你问我答
当时随手存的原始输出，后来成了唯一的证据。追问最凶的几题，单独立项重测了。
最有用的一条：允许结论被推翻。把「适合谁」写具体到岗位，别写「进阶用户」。
追问下去：把对比表格固定放在并排的两台测试机前，测试条件再没乱过。结论压三天再发，是给自己留推翻的余地。
补充一组数据：评测期间不更新驱动不改配置，变量锁死。评测报告里最值钱的是失败记录。分数是死的，你的任务才是活的。
- 长跑观测 连续二十四小时
- 归档原始 输出逐条留存
- 跑基准 三遍取中位
- 锁环境 配置写进附录
09免责与说明
那阵子压测过了上线安心是整份报告里最硬的一条。把边界写明白，是评测的基本操守。
先说反例：把对比表格固定放在并排的两台测试机前，测试条件再没乱过。以「你每天重复最多的任务」为第一测试项。
把样本拉大后：试过更花哨的评测框架，最后退回一张表格。预算和需求不同，结论就不同，别滥用通用分。
当时随手存的原始输出，后来成了唯一的证据。评测工具本身也要校准，尺子歪了全盘皆输。
先跑一遍附录里的复现步骤，再决定信不信。
引用数据请连同测试条件一起带走。
常被问到的
- OLMo和同尺寸的对手怎么选？
- 分项比：你的主力任务那项赢的胜出；两项打平再看许可证和社区活跃度，这两个决定长期成本。
- OLMo多卡实测数学推理实测自己测的跑分和官方差很远？
- 先对环境：显卡、框架版本、提示模板、温度参数任何一个不同都会造成差距。把环境写成附录，成绩才可复现。
- 怎么判断成绩是真实的还是调参调出来的？
- 看有没有公开测试脚本和原始输出。能一键复现的是评测，不能复现的是宣传。