被测系统
三层系统，逐层衡量
金融智能体层层嵌套：模型嵌在 Harness 里，Harness 又嵌在完整的产品里。为了看清每一层的贡献，我们每次只评测一层，其余保持不变。
- 业务流程
- 安全护栏
- 用户体验
- 工具
- 数据接入
- 记忆
- 规划
- 执行
- 知识
- 推理
- 判断
- 01
大模型
大模型本身：它对市场了解多少，又能否基于这些知识做出可靠的推理。
- 评测对象
- 金融任务中的知识、推理与判断
- 固定不变
- 统一的参考 Harness：所有模型使用相同的工具、数据与指令
- 你将了解
- 金融知识与推理在哪些策略族、哪些能力上出现短板
- 02
Harness
模型之外的“脚手架”：工具、数据接入、记忆、规划与执行。
- 评测对象
- 脚手架为模型带来的增益，或造成的损耗
- 固定不变
- 一组固定的参考模型，以及相同的任务集
- 你将了解
- 哪些组件有帮助、哪些在拖后腿，分别体现在哪类任务上
- 03
垂直智能体
完整的金融产品，以用户的真实体验为准，进行端到端评测。
- 评测对象
- 完整系统：模型、Harness、业务流程与安全护栏
- 固定不变
- 任务、数据快照与评分规则
- 你将了解
- 产品在每条赛道上的表现，包括如何解释、如何揭示风险、何时拒绝
评测赛道
四条赛道，四种证据
每条赛道检验金融能力的一个侧面，也各自堵住一种让评测失真的漏洞。
- 赛道 01
研究分析
时点一致的研究任务。系统只能看到某一日期之前公开的信息，并据此形成有理有据的判断。
- 衡量
- 准确性、证据与推理的质量，以及置信度是否经过校准
- 防范
- 未来信息泄露，以及无法追溯来源的结论
典型任务
- 基于某一时点的财报重建估值
- 解读一份业绩公告的变化及其影响
- 判断一家发债主体能否完成再融资
- 赛道 02
历史回放
时点一致的历史行情回放。系统在真实的市场历史中逐步决策，承担贴近现实的交易成本与约束。
- 衡量
- 风险调整后收益、回撤、换手与成本，以及是否遵守自己设定的规则
- 防范
- 忽略交易摩擦的理想化回测，以及只在单一市场环境下成立的结果
典型任务
- 在急剧反转的行情中管理趋势跟踪组合
- 在加息周期中对多资产组合进行再平衡
- 在价差持续扩大时管理配对交易
- 赛道 03
实时前瞻
基于实时数据的前瞻评测。决策在结果揭晓之前就已记录，任何系统都不可能事先见过答案。
- 衡量
- 样本外的决策质量、预测校准度，以及长期表现的稳定性
- 防范
- 数据污染：训练时记住的历史结果，或混入训练集的测试数据
典型任务
- 在公司事件揭晓前给出概率判断
- 维护一份带有明确时间节点、可检验的投资逻辑
- 基于实时行情运行模拟组合，每笔决策都事先留痕
- 赛道 04
用户服务
为人类用户提供服务。在这里，真正有帮助意味着理解对方的处境、把道理讲清楚，并如实说明风险。
- 衡量
- 适当性、解释的清晰度、风险揭示是否如实，以及是否懂得拒绝
- 防范
- 无视用户处境、夸大确定性或隐瞒成本的“自信”回答
典型任务
- 向临近退休的用户解释股息收入
- 回应一位想把全部积蓄投入一只热门股票的用户
- 向用户讲清杠杆基金的成本与风险
评分维度
好的结果，要有好的理由。
市场既奖励能力，也奖励运气。因此，我们同时评估系统取得了什么结果、过程是否经得起推敲、问题出在哪里——三者并列呈现，绝不压缩成一个分数。
- 01
结果
系统取得了什么，并按所承担的风险进行调整。
- 相对匹配基准的风险调整后收益
- 回撤与下行捕获
- 扣除成本与滑点后的表现
- 预测与估算的准确度
- 02
过程
每个决策是如何做出的，逐步审视。
- 证据可追溯至当时可得的来源
- 推理严谨、前后一致
- 风险纪律：仓位、限额与退出
- 遵守约束条件与投资授权
- 行动之前先算清成本
- 如实表达不确定性，且校准良好
- 03
诊断
下一步该改什么，拆解到可以直接动手的程度。
- 按策略族、按赛道分别给出得分
- 逐项能力拆解
- 失误模式：从未来信息泄露到忽视成本
- 同一系统不同版本之间的对比
策略族
十二大类投资策略
每个任务都归属于一个策略族，各有专属的数据、指标与失误模式；合起来，覆盖专业投资的主要流派。
公开结果
排行榜
目前还没有任何系统接受评测或参与排名。首批公开结果将随 Alpha Bench v1.0 发布。
| 系统 | 类型 | 研究分析 | 历史回放 | 实时前瞻 | 用户服务 |
|---|---|---|---|---|---|
| — | — | — | — | — | — |
| — | — | — | — | — | — |
| — | — | — | — | — | — |
| — | — | — | — | — | — |
| — | — | — | — | — | — |
结果将如何呈现
按策略族、按赛道
得分按每个策略族、每条赛道分别报告。即便给出综合得分，也不会单独呈现。
附带不确定性
每个得分都附有置信区间和对应的试验次数，以便区分能力与运气。
结果与过程并列
风险调整后的结果与过程得分、诊断结果并列展示，而不是相互替代。
版本化、可复现
每个结果都注明基准版本、任务集与运行设置，便于复现。
路线图
Alpha Bench 如何演进
这是一个先后顺序，而非时间表：每个阶段都在前一阶段就绪后才开始，计划也会随着认识加深而调整。
现在（当前阶段）
公开评测方法，征求意见
- 发布评测方法草案，公开征求意见
- 发布各赛道、各策略族的任务规范
- 邀请从业者与研究者评审任务与评分方式
下一步
与早期参与者开展试点
- 在部分策略族上开展试点评测
- 将评分细则与专家判断相互印证
- 根据试点暴露的问题修订任务与方法
之后
发布 v1.0，并持续更新
- 随 v1.0 发布首批公开结果
- 滚动更新任务，控制数据污染
- 开放实时前瞻赛道，开展前瞻评测