AWM × FORECASTOS打开预测引擎 →

FORECASTOS / METHODOLOGY

预测合约、账本封存与概率评估

预测的价值不仅在于给出一个数字,还在于提前明确问题、保留当时的证据与概率,并在结果揭晓后按同一标准核验。这里说明 ForecastOS 的工作流程和评估限制;阅读本页不调用模型,也不需要等待实时数据。

ForecastOS 如何把预测变成可核验的记录

ForecastOS 是衍数科技的自主预测引擎。它将关于未来的问题拆成可测量的对象、时间窗口和结果标准,再组织研究、概率签发、账本封存与到期核验。它与 AWM 的分工不同:AWM 整理公开观测与监测信号,ForecastOS 尝试回答一个定义清楚的未来问题。监测分、模型解释和正式概率不能混为一谈。

从提问到结算的六步流程

  1. 编译合约。固定预测对象、事件定义、期限、知识截止时间与结果来源。含糊问题需要先澄清可测量的目标,不能在结果揭晓后改变“预测正确”的含义。
  2. 研究与证据整理。检查来源、日期、历史类比和数据缺口,区分直接结果指标与佐证代理。数据不足可能导致拒答、保留不确定性或明确披露代理指标。
  3. 建模与检查。比较基准率和候选模型,审视可能推翻结论的证据。概率变化应能追溯到输入、模型与策略,而不是来自一段更有说服力的文字。
  4. 签发与封存。记录原始概率、校准概率、模型版本、策略、证据引用、特征快照和期限。修订产生带父记录与修订理由的新预测,原签发记录保持不变。
  5. 到期核验。使用与合约匹配的结果来源判断 YES、NO 或未能确认。窗口尚未结束或数据不足时,不能为了生成成绩把未确认结果算成 NO。
  6. 评分与复盘。只对符合结果条件的样本计算损失,再比较基准、检查校准与误报。候选策略需要通过独立评估门槛,系统有新解释不意味着策略已经变好。

Brier 分数如何计算?

二元结果中,发生记为 y = 1,未发生记为 y = 0;概率 p 使用 0 到 1 的刻度。单条 Brier 损失是 (p − y)²,一组预测的 Brier 分数是这些损失的平均值,越低越好。

例如,预测发生概率为 70%:如果事件发生,损失为 (0.7 − 1)² = 0.09;如果未发生,损失为 (0.7 − 0)² = 0.49。这只是计算示例,不是 ForecastOS 的实测成绩。UNRESOLVED 或模糊结果不进入 YES/NO 的二元评分。

评分、校准与“预测正确”有什么区别?

一条 70% 的预测最终未发生,并不能单独证明概率错误。校准要看多条可比较预测:标为约 70% 的事件是否在足够样本中约有 70% 发生。Brier 同时反映概率损失,不能单靠它证明校准,也不能因一次猜中就宣称模型可靠。

评估需要披露样本数、YES/NO 分布、期限、数据覆盖、未确认结果与基准策略。稀有事件中,“一直预测不发生”也可能取得较低平均损失,因此还应检查区分能力、误报与相对基准的增益。历史回放与策略选择要避免让未来结果泄漏到训练、校准或优化中。

系统如何学习而不修改历史?

结算结果为后续复盘提供反馈,候选策略与当前策略在分开的历史窗口中比较。ForecastOS 的学习流程设有训练、验证和保留评估窗口,晋升依赖评估门槛;本页不承诺每次迭代都会晋升,也不把自动复盘等同于已经证明收益。新策略影响后续签发,旧预测仍按原来的合约接受核验。

常见问题

任何问题都能得到可靠概率吗?
不能。尤其是没有公认结果标准的开放问题,可能只能使用代理里程碑;代理指标与原问题的区别必须披露。没有可结算的数据时,拒答比给出无法核验的数字更合适。
哪里查看证据与预测记录?
预测结果页可查看事件定义、截止时间、证据与缺口;高级控制台用于进一步检查研究过程、账本及评分。封存记录说明当时系统知道什么,而不是用后来的知识替换当时判断。
提交问题后是否需要一直开着网页?
预测任务进入服务端队列。页面可以轮询进度并恢复保存的任务,研究完成时间受数据和模型服务影响。方法说明页不需要等待任务或调用模型。
这些分数能保证未来表现吗?
不能。历史评估描述特定样本和条件下的表现;数据分布、来源覆盖与现实机制都可能变化。理解样本与限制,比单看一个低分更重要。