跳到正文
Alpha Bench

面向金融的开放 AI 评测基准。 Alpha Bench 在十二大类投资策略上,衡量大模型、Harness 与垂直智能体的真实表现,并告诉它们如何改进——让人们获得的金融服务持续变好。

评测基准

十二大类策略,一把诚实的尺子。

从价值投资到尾部对冲,Alpha Bench 为每一类主流投资方式设计时点一致的研究任务、历史回放、实时前瞻评测与用户服务场景。

被测系统

一套基准,三类系统

大模型

面向大模型团队

在统一的参考 Harness 中评测,看清模型对市场知道什么、如何推理,确保结果之间可以比较。

固定不变
Harness、工具、数据
你将获得
分策略族诊断报告
了解大模型评测
Harness

面向 Harness 开发者

在底层模型不变的前提下,衡量工具、数据接入、记忆、规划与执行等“脚手架”带来的增益。

固定不变
模型、任务集
你将获得
组件级消融分析
了解 Harness 评测
垂直智能体

面向垂直智能体团队

以用户的真实体验为准,端到端评测完整的金融智能体——包括它如何解释、如何揭示风险、何时说“不”。

评测对象
完整系统
你将获得
分赛道成绩单
了解垂直智能体评测

为什么是 Alpha Bench

金融,是 AI 必须赢得信任的地方。

金融决策的影响会不断累积。一个听起来自信、却忽视成本、风险或财报原文的系统,可能在不知不觉中伤害依赖它的人。我们相信,让 AI 在金融领域真正有用的方法,是公开、审慎地衡量它——并在 AI 与市场不断变化的同时,持续衡量下去。

我们的方法

改进如何发生

评测,诊断,改进,再评测。

单独一个分数改变不了什么。Alpha Bench 被设计成一个闭环:每个结果都指向可以改进的地方,每次改进都会在系统从未见过的问题上再次接受检验。

01020304
  • 01

    评测

    所有系统在四条赛道上运行同一套带版本号的任务:研究分析、历史回放、实时前瞻、用户服务。

  • 02

    诊断

    结果按策略族、能力与失误模式拆解——从未来信息泄露到忽视交易成本,逐一定位。

  • 03

    改进

    开发者获得具体的报告:推理在哪里断裂、遗漏了哪些风险、更好的回答包含什么。

  • 04

    再评测

    新任务与实时前瞻赛道检验改进能否在样本外成立,而不只是答对昨天的题目。

基金会动态

查看全部

一起打造金融领域应有的评测基准。

我们正在寻找大模型团队、Harness 与智能体开发者、金融从业者和研究者,与我们共同塑造 Alpha Bench。