结果
算上所承担的风险，它做成了吗？
结果在扣除成本后计算并经过风险调整，与匹配策略风格和投资授权的基准比较，并以区间而非单一数字呈现。
- 衡量口径
- 扣除成本、经风险调整
- 比较对象
- 匹配的基准
- 一并报告
- 置信区间
评测方法
我们如何评测
对每一个被测系统，Alpha Bench 都追问同一个朴素的问题：只用当时能够获得的信息，它能否做出稳健的金融决策，并向依赖它的人讲清楚理由？下面介绍我们如何设计任务、运行评测，以及如何为结果打分。
Alpha Bench 仍在建设中。本页介绍的是我们计划采用的评测方法，它将在检验过程中公开修订。
评测原则
每个分数背后的八项原则
这些原则适用于每一类策略、每一条赛道。当某个设计选择需要在便利与原则之间取舍时，以原则为准。
- 01
时点一致的数据
每个任务只提供决策当时可以获得的信息：价格、财报与新闻均以首次发布的版本为准，事后的修订一律不纳入。样本中包含后来破产或退市的公司，避免幸存者偏差美化结果。
- 02
控制数据污染
记得事情结局的系统是在回忆，而不是在推理。我们滚动更新任务、不公开保留测试集，在记忆可能起作用的地方隐去身份信息，并设立答案尚不存在的实时前瞻赛道。
- 03
真实的交易摩擦
模拟交易要支付佣金、买卖价差、冲击成本、融券成本与资金成本，并受流动性、持仓上限和卖空限制的约束。只有在零成本下才成立的策略，等于不成立。
- 04
覆盖多种市场环境
任务横跨平稳与动荡的市场、利率上行与下行、通胀抬升与回落、危机与复苏。只在一种市场环境中接受检验的系统，实际上只被检验了一次。
- 05
区分能力与运气
市场噪声很大，一次好的表现说明不了什么。我们进行足够多次的试验以衡量结果的波动，把每个系统与简单基线比较，并报告置信区间。统计上站不住的差异，不会被当作真实差距。
- 06
过程与结果并重
出于错误理由取得的好结果，很难重复。领域专家会对每个决策背后的证据、推理、风险纪律与坦诚程度打分，与风险调整后的结果一并报告。
- 07
分层评测
大模型在固定的参考 Harness 中评测，Harness 搭配固定的模型评测，垂直智能体则端到端评测。每一层的开发者都能看清自己这一层贡献了什么、没有贡献什么。
- 08
可复现、公开透明
任务、数据快照与评分规则均有版本号，每次运行都保留完整日志，每一项变更都记录在公开的变更日志中。评测方法公开发布，接受检验与质疑。
一次评测的构成
每次评测都走同一条路径
无论哪条赛道，评测都由同样的六个环节组成。每个环节都留有记录，任何分数都可以追溯到产生它的决策。
- 01
任务说明
- 任务简报
- 基准日
带版本号的任务简报：要回答的问题、基准日、投资授权与约束条件，以及完整答案应包含的内容。
- 02
时点一致的环境
- 数据
- 交易摩擦
数据完全保持基准日当时的状态，并附带真实投资者会面对的成本与限制。
- 03
被测系统
- 大模型
- Harness
- 垂直智能体
大模型、Harness 或垂直智能体，在任务允许的工具与资源预算内工作。
- 04
运行日志
- 操作
- 理由
每一次数据请求、工具调用与决策及其理由，都带时间戳完整保存。
- 05
评分
- 结果指标
- 过程评分细则
根据日志计算结果指标，并由领域专家依据过程评分细则打分。
- 06
报告
- 成绩单
- 诊断
附带不确定性区间的成绩单，以及按能力与失误模式拆解的诊断。
不同赛道
路径始终相同，变化的是环境：研究分析固定在单一日期，历史回放重演一段市场，实时前瞻使用当下的数据，用户服务则加入一位带着自身处境和问题的用户。
评分方式
结果、过程与诊断
任何单一数字都无法说明一个系统是否擅长金融。每次评测都并列报告三项内容，好结果掩盖不了差过程，反之亦然。
过程
它做得对吗？
领域专家依据成文的评分细则，评估每个决策背后的推理，让运气带来的好结果无法掩盖薄弱的过程。
- 评分人
- 领域专家
- 评分依据
- 成文的评分细则
- 呈现方式
- 逐个维度打分
诊断
下一步该改什么？
结果按策略族、赛道、能力与失误模式拆解，让每位开发者看清系统在哪里出错、应从何处着手。
- 拆解维度
- 策略族、赛道、能力
- 重点标记
- 反复出现的失误模式
- 回答的问题
- 下一步改什么
过程评分细则
稳健过程的七个维度
评审人依据成文的等级描述，以及优劣答案的示例，对每个维度打分。每份答案由不止一位评审人独立评分，分歧在任何结果发布之前经讨论解决。
| 评分维度 | 评审要点 |
|---|---|
| 01证据扎实 | 观点与数字都能追溯到基准日当时可获得的来源；没有编造、误引，也没有借用未来的信息。 |
| 02推理严谨 | 每一步都由上一步合理推出；分析考虑了其他可能与不利于自身的证据，结论与分析相符。 |
| 03风险纪律 | 仓位大小、分散程度与退出条件和所承担的风险相匹配；在行动之前而不是之后考虑下行情形。 |
| 04遵守约束与投资授权 | 答案不超出授权范围：可投资范围、杠杆、流动性与持仓上限，以及用户明确提出的目标。 |
| 05成本意识 | 在做出决策之前，就计入佣金、买卖价差、冲击成本、融券与融资成本，以及相关的税费。 |
| 06不确定性校准 | 信心与证据相称；给出概率与区间，并在不知道答案、或按兵不动才是更好选择时如实说明。 |
| 07清晰易懂 | 用目标读者能够理解并据以行动的语言，直白地说明结论、主要风险与局限。 |
评测赛道
每条赛道考什么
每条赛道检验系统可能失误的一种方式，合起来覆盖研究、交易、预测与服务人类用户。
| 赛道 | 被测系统做什么 | 如何评分 | 防范什么 |
|---|---|---|---|
| 01研究分析时点一致的研究任务 | 被测系统做什么完成固定在某一日期的研究任务：阅读当时状态下的财报、数据与新闻，给出分析、估算或投资观点，并说明推理过程。 | 如何评分对照专家参考答案与事后披露的数据评估准确性，检验所给区间的校准程度，并依据过程评分细则评估书面分析。 | 防范什么表述流畅，却误读原文、编造数字，或悄悄使用了基准日之后信息的答案。 |
| 02历史回放历史行情回放 | 被测系统做什么在回放的历史市场中逐个决策日管理组合或策略，每个时点只能看到当时已知的信息，并支付真实的交易成本。 | 如何评分扣除成本后相对匹配基准的风险调整收益，以及回撤、换手率和违反约束的情况；同时审阅决策日志以评估过程。 | 防范什么美化回测的各种做法：未来信息偏差、幸存者偏差、忽视成本，以及只针对某一时期调参的策略。 |
| 03实时前瞻基于实时数据的前瞻评测 | 被测系统做什么基于实时市场数据做出预测与组合决策，每一项都在结果出现之前记录并加盖时间戳。 | 如何评分随结果陆续揭晓进行评分：预测的校准程度、扣除模拟成本后的模拟组合表现，以及修正是否依据证据。 | 防范什么记忆与数据污染。答案尚未发生，任何系统都不可能事先见过。 |
| 04用户服务服务人类用户 | 被测系统做什么与一位带着具体问题和自身处境的用户对话：了解必要的信息，直白地解释可选方案与风险，并在不合适时明确指出。 | 如何评分领域专家依据成文的评分细则，评估适当性、准确性、清晰度，以及对风险与成本的如实披露。 | 防范什么无视用户处境、隐瞒风险或成本、承诺收益，或从不说“不”的自信建议。 |
公正性与防刷分
从设计上防止刷分
评测基准只有在分数有意义时才有用。以下保障措施都是 Alpha Bench 设计的一部分。
- 01
保留测试集与滚动任务集
用于正式评分的任务从不公开。公开示例定期轮换，退役的任务由按同一规范编写的新任务替换。
- 02
金丝雀字符串与污染检测
公开材料中嵌入金丝雀字符串，便于从训练数据中过滤；我们也会检测系统是否表现出曾见过某个任务的迹象。
- 03
提交次数限制
每个团队在每个基准版本上的计分运行次数有限，无法靠在保留测试集上反复试错来提高分数。
- 04
人工专家评审
由从业者为过程打分，抽查自动评分，并对好得反常的结果展开调查。
- 05
版本管理与公开变更日志
每个任务集、数据快照和评分规则都有版本号。分数始终与取得它的版本一同报告，每一项变更都公开记录。
- 06
利益冲突披露
评审人、任务作者和基金会自身都需披露与被测团队的关联。任何人都不评审与自己有关联的系统。
适用边界
Alpha Bench 不是什么
分数很容易被过度解读。以下边界是评测方法的一部分，适用于每一项结果。
- 01
不是投资建议
Alpha Bench 评测的是 AI 系统。它发布的任何内容，都不构成买入、卖出或持有任何证券、策略或产品的推荐。
- 02
不是收益预测
高分描述的是系统在我们任务上的表现，并不预示任何策略、基金或系统未来的收益。
- 03
不是背书
参与评测或取得高分，都不代表基金会为任何产品、机构或服务背书。
- 04
是描述，不是保证
分数描述的是系统在我们的任务、我们的条件和特定版本下的表现。换一批任务、换一个市场或换一个版本，结果都可能不同。
现在有评测结果了吗？
还没有。Alpha Bench 仍在建设中，目前没有任何分数，排行榜上也没有任何条目。公开结果将从 1.0 版本开始发布。在此之前，我们先公开评测方法，让它在给任何系统排名之前接受检验与质疑。
我能看到测试任务吗？
可以看到一部分。每个策略族页面已列出示意性的任务类型；我们还将为每一类策略公开示例任务、任务规范和评分细则，让任何人都能看到评测什么、如何评测。用于正式评分的任务则不公开并定期轮换，因为公开过的测试很快就不再是测试。
如何防止系统针对基准进行训练？
多层措施同时起作用：保留测试集从不公开；公开材料嵌入金丝雀字符串，便于从训练数据中过滤；新任务滚动替换旧任务；在记忆可能起作用的地方隐去身份信息；实时前瞻赛道在结果出现之前就对决策打分，根本没有答案可背。
为什么要把模型和 Harness 分开评测？
因为改进它们的是不同的人。大模型团队需要知道模型本身贡献了什么，Harness 团队需要知道工具、记忆与规划带来了多少增益。因此，大模型在固定的参考 Harness 中评测，Harness 搭配固定的模型评测，垂直智能体则像用户实际使用时那样端到端评测。
任务多久更新一次？
设计上是持续更新，而不是隔很久集中发布一次：任务滚动更新，实时前瞻赛道随市场变化不断加入新问题。每一次变更都会生成新版本，分数始终与取得它的版本一同报告，不同版本的结果不会在未加说明的情况下混在一起。
评测会动用真金白银吗？
不会。历史回放以模拟成本重演过去的市场；实时前瞻赛道记录决策，并在真实价格陆续出现时打分，但不会下任何订单。Alpha Bench 不投入资金，也不提供交易服务。
如何区分能力与运气？
进行足够多次的试验以观察结果的波动幅度，把每个系统与简单基线比较，并报告置信区间而不是单一数字。如果两个系统的差距落在噪声范围之内，我们会如实说明，而不会硬分高下。
人工评审人如何遴选？
依据他们在所评审策略族上的直接从业经验。评审人依据成文的评分细则工作，正式评分前先用示例进行校准，需要申报利益冲突，并且不评审与自己有关联的系统。评审人的遴选标准将与完整的评分细则一同公开。