跳到正文
Alpha Bench
EN

参与

共同建设 Alpha Bench

Alpha Bench 正在公开建设中。一个评测基准有多大价值，取决于它提出的问题、评判回答的人，以及愿意接受检验的系统。你可以通过提交系统、贡献专业知识或支持我们的工作参与进来。

提交系统贡献专业知识

提交系统

先评测，再决定是否公开

面向大模型团队、Harness 开发者与垂直智能体团队。每类系统都按实际使用方式接受评测：大模型在固定的参考 Harness 中评测，Harness 搭配固定模型评测，垂直智能体端到端评测。

了解各类系统如何评测

  1. 登记意向

    发邮件告诉我们你希望评测什么——大模型、Harness 还是垂直智能体，以及你方的对接人。

  2. 完成对接

    大模型通过参考 Harness 接入；Harness 与垂直智能体按照智能体接口规范接入。无论哪种方式，所有系统都基于相同的任务和相同的时点一致数据。

  3. 运行评测

    系统在研究分析、历史回放、实时前瞻与用户服务四条赛道上运行带版本号的任务集。你将收到一份私密的诊断报告：按策略族与赛道列出的结果得分与过程得分，以及发现的失误模式。

  4. 决定是否公开

    自 v1.0 起

    报告默认保密。自 v1.0 起，你可以选择将结果发布到公开排行榜；除非你决定发布，结果不会公开。

开始之前

你需要准备

  • 稳定的调用方式：大模型提供 API 接口；Harness 或垂直智能体实现智能体接口规范。
  • 每次提交的版本标识，确保每一次运行都能完整复现。
  • 系统所用工具与数据源的清单，以及限制其访问范围的方法——时点一致的任务只能看到当时可获得的信息。
  • 一位负责技术对接的联系人。

分阶段开放

目前进展

提交通道将分阶段开放。我们计划在参考 Harness 与智能体接口规范定稿期间，先从少量早期参与者开始，再逐步扩大范围。目前还没有可以公布的时间表。

登记意向

贡献专业知识

一起定义“好”的标准

Alpha Bench 既需要懂市场的人，也需要懂度量的人。中文、英文均可参与。

查看十二大类策略
任务

任务编写者

在十二大类策略中任一领域具备一线经验的基金经理、研究员、交易员与策略师。

工作内容

  • 以真实投资决策为原型，编写时点一致的任务
  • 写明好的回答应当包含什么，差的回答会错在哪里
  • 核实每个任务仅凭当时可获得的信息即可作答
报名编写任务
评分

评审与评分者

能够评判推理过程、而不只看结果的投资专业人士、投资顾问与合规专家。

工作内容

  • 依据过程评分细则评审回答：证据、推理、风险纪律、约束条件、成本与不确定性校准
  • 从适当性、解释是否清楚、风险揭示是否诚实等方面，评判用户服务赛道中的对话
  • 参与评分校准，让不同评审者、不同时期的评分保持一致
报名参与评审
方法

研究者

从事评测、统计、金融或机器学习研究的学界与业界研究者。

工作内容

  • 审阅评测指标、计分方式与结果汇总方法
  • 完善统计设计：足够的试验次数与恰当的检验，以区分能力与运气
  • 研究数据污染问题：保留测试集、任务轮换与泄露检测
探讨评测方法
数据

数据合作方

时点一致数据的持有方：行情、基本面、公告、新闻，以及另类数据与宏观数据。

工作内容

  • 为研究任务与历史回放提供时点一致的历史数据
  • 协助核验时间戳、数据修订与幸存者偏差
  • 商定数据使用条款，确保每一次评测运行都可以复现
洽谈数据合作

不确定自己适合哪一类？直接写信给我们，介绍你擅长的领域。

支持我们

支持一个独立的评测基准

把一个开放的评测基准长期做好，需要持续的资金、大量的算力和高质量的数据。每一种支持都有帮助，但前提只有一个：它不能影响我们评测什么，也不能影响我们得出什么结论。

了解基金会如何保持中立

  • 资金

    用于任务编写、专家评审、数据采购，以及维护评测基准的团队。

  • 算力

    推理与算力额度，用于大规模运行评测，并保证足够的重复试验，以区分能力与运气。

  • 数据

    时点一致的行情、基本面与另类数据，并获得用于评测的授权。

我们的底线

支持可以​为这项工作买单，但买不到任何结果。

洽谈支持

  1. 任何支持都不会影响评测方法、任务选择、计分方式或评测结果。

  2. 所有支持方都会公开披露，并注明所提供支持的类型。

  3. 同时开发 AI 系统的支持方，与其他参与者按完全相同的规则接受评测。

  4. 附带评测内容或发布条件的支持，我们不予接受。

常见问题

关于参与的问题

部分事项仍在确定中，凡尚未确定的，我们都会如实说明。

提出其他问题
提交通道什么时候开放？
提交将分阶段开放，目前暂不公布具体时间。登记意向后，下一阶段开放时我们会通知你。
参与需要付费吗？
登记意向不收取任何费用。运行评测的成本（主要是算力）如何承担，目前仍在讨论；在需要任何人做出承诺之前，我们会把安排说明清楚。
可以只做私下评测、不公开结果吗？
可以。每次评测都会生成一份私密的诊断报告。v1.0 之前没有公开排行榜；自 v1.0 起，是否公开由你决定——除非你选择发布，结果始终保密。
提交的内容如何保密？
原则很简单：系统的输出、诊断报告与对接细节只用于评测本身，不作他用，也不会提供给其他参与者或支持方。正式的保密条款正在起草，将在评测开始前确定。
闭源模型可以参与吗？
可以。Alpha Bench 通过接口评测系统——大模型通过 API，Harness 与智能体通过智能体接口规范——不需要获取模型权重或源代码。开源与闭源系统采用同样的评测方式。
覆盖哪些市场和资产类别？
十二大类策略覆盖股票、国债与公司债、信用、外汇、商品、期货与期权。各任务集具体涉及哪些市场，正在按策略族逐一确定，并会随每个评测版本一并公布。
可以用中文或英文参与吗？
都可以。写信、编写任务、参与评审，中文或英文均可——用你表达最准确的语言即可。

联系我们

写信给我们。每一种参与方式，都从一封简短的​邮件开始。

邮箱

hello@alphabench.example

邮件中请说明

你是谁
你的姓名、所在机构（如有）与职务。
参与方式
提交系统、贡献专业知识、支持我们的工作，或者只是一个问题。
你的方向
如果是系统，请说明是大模型、Harness 还是垂直智能体；如果是专业知识，请说明你熟悉的策略族或研究领域。
使用语言
中文或英文，按你的习惯即可。

首封邮件请不要包含保密信息。如确有需要，我们会另行商定分享方式。