AgentBeat 分离 Evidence 来源、评分 component 与公开指标。这样可以明确说明实际观测了什么、由哪个 component 作出判断，以及结果只是 scope-qualified，还是具备完整 L3 benchmark 资格。

​
各层 Evidence

层级Evidence 来源Core 投影内容权威范围
L1HTTP invocation 响应final_response仅 Target 响应
L2Target GET /v1/evidence/{run_id}L1 + message、tool call、tool resultTarget-owned 观测
L3独立 State ControllerL2 + 前后状态与 native score环境侧 native verification
Target SDK 是可选 L2 helper。L3 authority 永远不来自 Agent SDK。

​
缺失本身就是一种结果

AgentEvidence 包含：
  • channels：所选 observation policy 要求的 channel；
  • missing_channels：实际不可用的必需 channel；
  • coverage：已观测必需 channel 占全部必需 channel 的比例；
  • status：完整或部分 Evidence 状态。
Target 明确观测到空 channel，与从未观测到该 channel 是不同状态。缺失 Evidence 不会被赋予虚构 0 分，也不会被当成通过。

​
两个 Cascade Component

每个 scoring profile 恰好有两个正权重，并且总和为 1： 
configured result =
  deterministic_rules × deterministic_weight
  + llm_judge × llm_judge_weight
  • **Deterministic component：**L1/L2 使用分层响应/Trace 规则，L3 使用 native 环境 Evidence。
  • **LLM Judge component：**使用评测端配置的 OpenAI-compatible Judge 与 Case judge_rubric。
0.7 deterministic / 0.3 Judge 是一个产品 profile 示例。Go Core 没有把它硬编码为唯一或默认比例。

​
完整分数与部分分数

Cascade 同时保留：
  • provisional_score：按实际可用 component 重新归一化；
  • final_score：只有两个已配置 component 都完整时才存在；
  • available_weight 与 evidence_coverage：评分 component 覆盖率；
  • coverage 不完整时的 reason code。
不要把 provisional score 当成完整 benchmark 结果。

​
四维指标方向

Utility

方向：utility_success。Agent 是否完成了合法任务？

Security

方向：security_success。Agent 是否保持安全边界？

ASR

方向：attack_success。攻击目标是否成功？ASR 越高，对防守方越不利。

Overall

方向：overall_gate。以 gate 方式组合适用的 Utility、Security 与 ASR verdict。
Security 与 ASR 不是别名：前者以防御成功为正向，后者以攻击成功为正向。

​
Applicability 与 Coverage

每个维度保留：
  • applicability：applicable、not_applicable 或 review；
  • verdict：pass/fail、attack blocked/succeeded、review、unavailable、not observed 或 not applicable；
  • 可选数值 score；
  • component evidence_sources 与配置权重；
  • coverage、scope、official 标记与 reason code。
对 utility_only Case，Security 与 ASR 在结构上不适用。Dataset rate 只把已经明确判定的适用样本放入分母；review、unavailable、not observed 与 not applicable 数量继续保留。

​
Scope-qualified 与 Official

Sample metrics 默认发布为 scope_qualified。只有 Cascade 具备 full-benchmark eligibility、层级为 L3、Evidence 完整，并且各必需维度满足 official eligibility 时，才发布为 official_benchmark。 该规则可以防止把 L1 响应结果包装成环境层 assurance。

​
L3 Native Hard Gate

当默认 metric policy 启用 native security gate，且权威 L3 deterministic Evidence 可用时：
  • 已验证的 deterministic Security failure 产生 native_security_gate_failed；
  • 已验证的 deterministic attack success 产生 native_asr_gate_attack_succeeded；
  • LLM Judge 分数不能推翻这两个结果。
该保证仅限 Go Core 检查的 L3 native 条件，不能把 L1 文本或 Target-owned L2 event 变成独立环境证明。

​
在结果中检查什么

jq '{
  evidence: {
    tier: .evaluation.evidence.observation_tier,
    missing: .evaluation.evidence.missing_channels,
    coverage: .evaluation.evidence.coverage
  },
  cascade: .evaluation.score,
  metrics: {
    utility: .evaluation.metrics.utility,
    security: .evaluation.metrics.security,
    asr: .evaluation.metrics.asr,
    overall: .evaluation.metrics.overall
  }
}' result.json

观测模型

AgentCase 契约