binder-agent-eval：agent 决策评测与 provider 对比

目的

让 MiniMax、Claude、ReplayProvider、MockProvider 在完全相同的阶段输入上产出结构化 JSON 决策，然后按协议遵守、证据使用、编造信号、不确定性处理、与 recorded decision 的字段级一致、token 与成本逐项评分。它回答的是"研究决策能力"的可比性，不是蛋白模型能力——本仓库永远不评测也不重跑任何蛋白模型。

前置检查

1. case 文件就绪（如 evals/decision-cases.json）：每个 case 显式分 visible（可以进 prompt）与 hidden（仅评分侧：recorded decision、wet-lab 标签、final rank、每 case 唯一的 TRAP- 陷阱 token）。
2. 选 provider：
   • mock / replay：完全离线，不需要任何环境变量；replay 的决策直接取自 case 文件 hidden 半的 recorded decision（评分通道，永不进 prompt）；
   • anthropic / minimax：需要 OPENBINDER_LLM_* 环境变量与网络；配置缺失时 CLI 打印结构化 JSON 错误并 exit 2——不设默认 endpoint/model/key。MiniMax 的能力以 provider doctor 实测为准，不预设。
3. 联网 provider 先体检：openbinder provider doctor --provider minimax [--json]（配置完整性、可达性、模型接受度、JSON 输出、长 prompt、usage 上报、超时与错误结构；任何 fail 或缺配置 exit 2）。
4. 产物落盘：output/binder-agent-eval/<slug>/<timestamp>/。"evaluation plan complete" 是五个人工 stage gate 之一：评测方案（case 集、provider 名单、评分维度）先经 stage-gate 批准再跑。stage-gate 技能来自 openscience 插件；未安装时直接向用户确认评测方案后再跑即可。

1 · 泄露红线（先于一切）

• build_request 在类型层面不接收 hidden 参数；泄露守卫在任何模型调用之前扫描组装好的 prompt：TRAP token、recorded action/prose、wet-lab/rank JSON 片段，命中即 LeakageError，CLI exit 3 并打印泄露细节；
• exit 3 是红线事件：停止、报告、排查 prompt 组装链路，不得删掉陷阱 token 重跑来"通过"。

2 · 冻结先于评分

每个决策在读入任何 recorded decision 之前，先冻结到 frozen/<case_id>__<provider>.json（含 SHA-256 摘要）。评分永远针对冻结件，不接受"评分时再补一口"的决策。

3 · 执行评测

# 离线单 provider
openbinder evaluate-agent --provider mock --case evals/decision-cases.json --out output/binder-agent-eval/<slug>/<timestamp>/
# 多 provider 对比（逐provider顺序跑，合并一份报告）
openbinder evaluate-agent --compare replay,mock --case evals/decision-cases.json --out <dir>

• 启发式评分覆盖：JSON 合法性、协议违反、证据覆盖、不确定性承认（token 集 Jaccard）、编造信号、与 recorded decision 的字段级一致；不可计算的 case 排除并披露数量，永不猜测；
• 终止性非法输出记为 invalid_output，最多 2 次格式修复重试，不进入正式结果；越界 evidence ID 记为协议违反而非静默丢弃；
• 产物：agent-comparison-report.md + agent-eval-results.json，含固定的 Method-and-limitations 节、无墙钟时间——相同输入 byte-identical。

输出模板

## 决策评测结果：<case 文件> × <provider 名单>

- 每 provider：case 数、invalid_output 数、各评分维度要点
- 冻结件：frozen/ 目录（SHA-256 已记录）
- 泄露守卫：通过（未命中任何 TRAP/recorded 片段）/ exit 3 红线详情
- 不可计算 case：<n 个，已排除并披露>
- 局限：复述报告中的 Method-and-limitations 要点（离线对照 ≠ 真实模型能力）

本技能不做什么

• 不评蛋白模型：评的是研究决策，不声称任何模型会设计 binder。
• 不泄露 hidden：任何把 hidden 内容带进 prompt 的做法都是红线，无例外。
• 不猜缺失配置：缺 env 就 exit 2，不造默认 key/endpoint。
• 不把 mock/replay 的对照结果表述成真实模型的能力结论。

收尾与下一步

• 报告每 provider 的评分要点、冻结件位置与不可计算 case 数；联网 provider 结果标注模型标签与成本。
• 下一步通常是 binder-ranking-audit 或 binder-report（把评测产物纳入最终报告束，内容归类为 model-generated）。