从分数到诊断

排行榜自有其价值：它把大量工作压缩成一个人人都看得懂的排名，也为整个行业提供了共同的参照。但排名只回答一个问题：谁领先。为金融场景构建 AI 系统的人，还需要另外两个问题的答案：系统为什么表现好或表现差？下一轮评测之前，应该改什么？

公开结果开始发布之后，Alpha Bench 也会给出排名，但排名不是它最主要的产出。最主要的产出，是诊断。

一个分数掩盖了什么

设想两个系统在同一段历史回放中取得了相同的收益。一个靠的是集中持仓和某个季度的好运气；另一个分散了风险，承担了真实的交易成本，并为每一个决策给出了证据。单一分数会把两者视为同样优秀，而有经验的投资者不会这样看。

金融结果充满噪声。在较短的时间跨度里，运气很容易压过能力；适合某种市场环境的策略，换一种环境就可能失效。把十二大类策略的成绩平均起来，还可能掩盖这样的系统：读财报很在行，对待风险却很随意；或者长于股票、短于信用。更重要的是，一个数字给不出方向。开发者即使知道自己的系统得分低于对手，仍然不知道该从哪里改起。

结果与过程

Alpha Bench 对每一次评测，都从两个互补的维度打分。

结果维度关注做成了什么：衡量扣除真实交易成本后的风险调整表现，并与简单、透明的基准进行比较，让额外引入的复杂度必须证明自身的价值。

过程维度关注结果是如何得来的：论断是否有输入材料中的证据支持，推理是否自洽，风险的度量与管理是否有纪律，是否遵守约束与投资授权，是否计入了成本，以及自述的把握程度是否与实际情况相符。

两个维度缺一不可。过程糟糕而结果漂亮，是难以持续的运气；过程扎实而结果不佳，可能只是运气不好。两者结合起来看，才能比单看任何一方更有把握地区分能力与运气。

分数应当是讨论“该改什么”的起点，而不是终点。

能力与失误模式

诊断是第三个维度，它沿两个方向拆解结果。第一个方向是能力，即某类策略所要求的具体技能，例如准确阅读财报、按波动率确定仓位、估算一笔交易的成本，或者用平实的语言向用户解释一项风险。第二个方向是失误模式，即任务专门设计来暴露的、反复出现的错误。

有些失误模式会在许多策略族中反复出现：

• 未来信息泄露：使用了决策当时无法获得的信息。
• 忽视交易成本：提出的交易一旦计入买卖价差、费用和滑点，优势便荡然无存。
• 过度自信：表达的确定性超出证据所能支持的程度，或者给出的预测校准不佳。
• 违反约束：无视持仓上限、投资授权，或用户自述的实际情况。
• 无据之言：引用了输入材料中并不存在的数字或事实。

另一些失误模式则只属于某一个策略族，例如趋势跟踪中的期货换月处理不当，或者对可转债条款的误读。把失误模式准确地命名出来，才能把“这个系统不太行”的模糊印象，变成团队可以检验、可以修正的具体问题。

诊断报告包含什么

每一次评测都会产出一份开发者可以据此行动的报告，内容包括：

• 按赛道和策略族划分的成绩单，给出不确定性区间，而不只是一个点估计。
• 并列呈现的结果得分与过程得分，让人看清结果从何而来。
• 系统最强与最弱的能力项，并与参考基准进行对照。
• 出现最频繁的失误模式，并配有来自公开任务的示例。
• 所用任务、数据与 Harness 的确切版本，确保任何一次评测都可以复现。

检验改进能否经得起新问题

任何详细披露结果的评测基准，都面临同一种风险：团队学会的可能是如何应付基准，而不是如何改进系统。Alpha Bench 的设计让这种做法得不到回报。开发者每做一次修改，系统都会在从未见过的任务上重新接受评测：这些任务来自滚动更新的题库，以及始终不公开的保留测试集。实时前瞻赛道则提供答案尚不存在的问题。

只有在样本外依然成立的改进才算数。如果针对“忽视交易成本”的修正，在新任务、其他策略族和实时决策中同样减少了不必要的成本，它就是真实的改进；如果它只对昨天的题目有效，下一份报告同样会把这一点呈现出来。

这正是 Alpha Bench 所围绕的闭环：评测、诊断、改进、再评测。排名告诉行业谁在领先，诊断则是为了帮助每一个系统变得更好。