面向大模型团队
在统一的参考 Harness 中评测,看清模型对市场知道什么、如何推理,确保结果之间可以比较。
- 固定不变
- Harness、工具、数据
- 你将获得
- 分策略族诊断报告
被测系统
在统一的参考 Harness 中评测,看清模型对市场知道什么、如何推理,确保结果之间可以比较。
在底层模型不变的前提下,衡量工具、数据接入、记忆、规划与执行等“脚手架”带来的增益。
以用户的真实体验为准,端到端评测完整的金融智能体——包括它如何解释、如何揭示风险、何时说“不”。
为什么是 Alpha Bench
金融决策的影响会不断累积。一个听起来自信、却忽视成本、风险或财报原文的系统,可能在不知不觉中伤害依赖它的人。我们相信,让 AI 在金融领域真正有用的方法,是公开、审慎地衡量它——并在 AI 与市场不断变化的同时,持续衡量下去。
每个任务只提供决策当时可获得的信息。没有未来数据,没有幸存者偏差,没有事后诸葛。
既评估风险调整后的结果,也评估背后的推理:证据是否扎实、纪律是否到位、对不确定性是否诚实。
每次评测都按能力与失误模式拆解结果,让开发者知道下一步该改什么。
任务滚动更新,实时前瞻赛道在结果发生之前就对决策打分——让评测结果在模型迭代中依然可信。
策略族
每一类策略都有专属的任务、指标与失误模式,合起来覆盖专业投资的主要流派。
所有系统在四条赛道上运行同一套带版本号的任务:研究分析、历史回放、实时前瞻、用户服务。
结果按策略族、能力与失误模式拆解——从未来信息泄露到忽视交易成本,逐一定位。
开发者获得具体的报告:推理在哪里断裂、遗漏了哪些风险、更好的回答包含什么。
新任务与实时前瞻赛道检验改进能否在样本外成立,而不只是答对昨天的题目。