OLMo团队众测商业支持对比盲测结果出乎意料
结论写在最前，方法全部公开，数据可复现。删掉了形容词，留下的都是核对过的数字。
下面这些，都是亲手测过才敢写。
这篇按评测的顺序写：结论、方法、数据、短板、适配。
01失分点分析
把报告拆两半发，中途设了个勘误窗口。先把丑话说完，剩下的才好意思夸。
口径统一后：把报告拆两半发，中途设了个勘误窗口。评测工具本身也要校准，尺子歪了全盘皆输。
对照记录看：分数保留一位小数就够了，假精度没有意义。结论压三天再发，是给自己留推翻的余地。
追问下去：结论与口碑冲突时，两头都重查一遍。盲评时把品牌信息全部去掉，编号打乱。
成本与质量的相对位置
02读者问答复盘
最有用的一条：允许结论被推翻。问答比正文诚实，语气都保留了。
第二季度复测，快了一倍，因为题库是现成的。报告末尾留一行勘误记录，错了就补。
实测中意外的是：把报告拆两半发，中途设了个勘误窗口。每一项评分都要能追溯到原始记录。
先说反例：具体说压测曲线的屏幕前那一轮：盲评顺序记错了一次，整组作废重来。测试环境写进附录，是可复现的最低要求。
实测中意外的是：当时随手存的原始输出，后来成了唯一的证据。给每个数字标上时间戳，三个月后还能对账。
| 评测项 | 怎么测 | 常见失真 | 怎么算数 |
|---|---|---|---|
| 社区 | Issue 响应统计 | 只看星标数 | 有响应数据 |
| 稳定 | 连续 24 小时长跑 | 五分钟算压测 | 无泄漏记录 |
| 显存 | 满上下文实测峰值 | 空载报数 | 峰值有记录 |
03同题对决
对决结果有个反转，评论区先别吵。
换个角度看：测试环境写进附录，是可复现的最低要求。数据磁盘单独留档，报告不妨改，数据不能改。
口径统一后：预算和需求不同，结论就不同，别滥用通用分。失败的用例原样保留，那是报告的一半价值。
换个角度看：第二季度复测，快了一倍，因为题库是现成的。官方榜单只当索引，不当证据。
把样本拉大后：把对比表格固定放在压测曲线的屏幕前，测试条件再没乱过。价格按测试当天折算，注明汇率与活动。
- 对照量化 与原版同题
- 跑基准 三遍取中位
- 归档原始 输出逐条留存
- 长跑观测 连续二十四小时
04读数须知
有个细节：把结论先压三天再发的时候测，成绩稳定得多。结论只代表测试当天的版本，下个版本可能翻案。
把样本拉大后：压测曲线的屏幕前的测试做完之后，整份报告都顺了。盲评时把品牌信息全部去掉，编号打乱。
补充一组数据：当时手头只有对比表格，照样把整轮测试跑完了。对比对象选同档热门，别拿小厂刷战绩。
补充一组数据：第二季度复测，快了一倍，因为题库是现成的。价格按测试当天折算，注明汇率与活动。
当时随手存的原始输出，后来成了唯一的证据。方法有缺陷就写进「已知局限」，别装没有。
05怎么测的
环境与参数写在文末附录，欢迎一键复现。
口径统一后：别用厂商给的演示样例，那是考过的题。客服响应也算进总分，售后是产品的一部分。
值得单独说明：现在回看，结论跟着跑分走几乎是必然的。给每篇评测定一个复核日期，到期强制回看。
把样本拉大后：测速脚本开源出来，接受同样的审视。结论与口碑冲突时，两头都重查一遍。
第二季度复测，快了一倍，因为题库是现成的。样本量写清楚，十道题的结论撑不起「完胜」。
06什么人该用
画像列在下面，越靠前匹配度越高。
最有用的一条：允许结论被推翻。报告末尾留一行勘误记录，错了就补。
值得单独说明：引用别人的数据必须标来源和测试条件。连续测七天，稳定性自己会现形。
盲评环节里：测试环境写进附录，是可复现的最低要求。预算和需求不同，结论就不同，别滥用通用分。
07数据与样张
表格里是全部原始成绩，没有挑拣。
口径统一后：报告末尾留一行勘误记录，错了就补。题目一半自编一半公开，防止套题。
口径统一后：把对比表格固定放在压测曲线的屏幕前，测试条件再没乱过。官方榜单只当索引，不当证据。
最有用的一条：允许结论被推翻。样张统一去水印、统一尺寸再进对比表。
口径统一后：连续测七天，稳定性自己会现形。以「你每天重复最多的任务」为第一测试项。
08一句话判定
答案不绕弯，证据在后面逐条摆。
压测曲线的屏幕前的测试做完之后，整份报告都顺了。预算和需求不同，结论就不同，别滥用通用分。
第二季度复测，快了一倍，因为题库是现成的。失败的用例原样保留，那是报告的一半价值。
实测中意外的是：那阵子量化方案定了是整份报告里最硬的一条。测试环境写进附录，是可复现的最低要求。
09下一步
本期未尽事项列了清单，逐项跟进。
把对比表格固定放在压测曲线的屏幕前，测试条件再没乱过。给每个数字标上时间戳，三个月后还能对账。
值得单独说明：试过更花哨的评测框架，最后退回一张表格。数据磁盘单独留档，报告不妨改，数据不能改。
口径统一后：有个细节：把结论先压三天再发的时候测，成绩稳定得多。响应速度单独测，别和正确率混在一个分里。
那阵子量化方案定了是整份报告里最硬的一条。预算和需求不同，结论就不同，别滥用通用分。先拿免费档试一周，再回来对答案。
只带走一句话的话：先看方法那一节。
有新版本我会回来更新这篇报告。
常被问到的
- OLMo团队众测商业支持对比自己测的跑分和官方差很远？
- 先对环境：显卡、框架版本、提示模板、温度参数任何一个不同都会造成差距。把环境写成附录，成绩才可复现。
- OLMo和同尺寸的对手怎么选？
- 分项比：你的主力任务那项赢的胜出；两项打平再看许可证和社区活跃度，这两个决定长期成本。