关于基金会
以中立的立场，衡量金融 AI
Alpha Bench 基金会负责维护 Alpha Bench——面向金融领域的开放 AI 评测基准。我们的工作，是帮助每一个大模型、Harness 与垂直智能体看清自己的不足、知道如何改进，让人们获得的金融服务持续变好。
我们的宗旨
诚实地衡量
使用时点一致的数据，计入真实的交易摩擦，覆盖多种市场环境，并进行足够多次的试验以区分能力与运气。每个结果都应当名副其实。
帮助系统改进
评测是为了改进。我们把结果一直拆解到开发者能够着手修改的地方，再用系统从未见过的任务重新检验。
服务依赖它们的人
目标不是更高的分数，而是值得信赖的金融服务：讲清风险，契合用户的实际情况，并坦诚说明自己不知道什么。
保持中立
我们不偏向任何模型、机构或技术路线。所有系统都在相同条件下接受评测，按同一标准评判。
我们的工作
基金会做什么
Alpha Bench 仍在建设之中。无论处于哪个阶段，基金会都承担以下职责。
- 01
维护评测基准
在十二大类策略与四条赛道上设计并滚动更新任务，淘汰已经泄露的任务，确保每个版本都可以复现。
- 02
开展评测
在相同、受控的条件下评测大模型、Harness 与垂直智能体，并为每个分数附上诊断。
- 03
发布方法与报告
公开评测方法、评测报告与带版本号的变更日志，让任何人都能看清每个数字从何而来、又有哪些变化。
- 04
汇聚从业者与研究者
邀请金融从业者、AI 研究者与开发者共同商定：什么值得衡量，以及怎样衡量得更好。
- 05
管理数据与许可
整理时点一致的数据集，遵守相应的数据许可，并明确参与者可以使用和分享的范围。
原则
我们的价值观与行事方式
衡量金融 AI，每天都要做判断：测什么，怎样才算好的回答，什么可以发布。以下原则指导我们做出这些判断，也决定了我们与每一位参与者的合作方式。
宁可慢一步，也要做对。
我们宁愿晚些发布，也不发布自己无法负责的内容。方法、任务与结果在发布前都要经过核查；一旦出错，我们公开更正。
让过程可见。
没有推理过程的数字，帮不了任何人改进。我们说明每个分数如何得出，也要求被测系统展示自己的证据与推理。
把用户放在首位。
每个任务背后，都可能是某天要依赖这个答案的人。我们衡量对他们真正重要的东西——适当性、清晰度、如实的风险揭示——而不只是容易打分的部分。
保持独立。
我们只跟随证据，而不是任何厂商、资助方或参与者的偏好——即使结论并不受欢迎。
直面难测之处。
交易成本、流动性、市场环境切换、不确定性，以及知道何时说“不”，都很难评测。但真金白银往往正是在这些地方亏掉的，所以我们选择衡量，而不是回避。
持续学习。
市场在变，被测系统也在变。当证据表明某个任务或方法存在不足，我们就加以修订，并把变更记入公开的变更日志。
我们的使命
我们评测，是为了让系统变得更好。 我们的使命，是帮助每一个大模型、Harness 与垂直智能体在金融领域取得可衡量的进步，并让这份进步真正惠及每一位向它们寻求金融帮助的人。
治理
我们如何保持中立
只有被评测者与依赖评测结果的人都信任它，Alpha Bench 才有价值。以下是我们对自己的承诺，也欢迎各方据此监督我们。
- 01
公开方法与变更日志
我们承诺公开每个任务的构建与评分方式，并把任务、指标与规则的每一次调整，记入带版本号的公开变更日志。
- 02
资金不影响结果
我们承诺将资金与评测严格分开。任何资助方、赞助方或合作方，都不能买到排名、左右分数，或决定哪些结果得以发布。
- 03
披露利益冲突
我们承诺披露基金会及其贡献者与被测系统之间的关联关系，并让存在利益冲突的人回避相关决策。
- 04
独立专家评审
我们承诺，评测方法与任务集在用于发布结果之前，须经独立的金融从业者与研究者评审。
- 05
保留测试集始终保密
我们承诺绝不向参与者展示保留测试集或实时前瞻赛道的任务；一旦有理由认为某个任务已经泄露，立即将其淘汰。
- 06
结果附带不确定性与说明
我们承诺在发布每一项结果时，一并说明其不确定性、评测条件，以及它能说明什么、不能说明什么。
基金会的治理架构仍在搭建之中，我们会随进展陆续公布更多细节。
就治理问题联系我们