S SURE Harness SKILL ATLAS

Agentic model operations · reproducible by design

SURE Harness

把模型发现、环境适配、容器转换、人工审批、推理评测与无推理复评,组织成一套可检查、可恢复、可复现的 Agent 工作流。

01 · 发现入口

02 · 构建入口

03 · 信任边界

04 · 运行与评测

05 · 复用与演进

Memory loop · 失败经验从运行中提取,经人工确认后回到后续上下文
6个职责单一、可组合的 Skill
3类彼此隔离的 Runtime 身份
83个显式状态机环节与后端阶段
1条端到端、可审计的证据链
01 / SIX SKILLS

每个 Skill 只负责一个清晰阶段

六个 Skill 不是六个大 Prompt,而是六套有输入合同、状态机、Gate 脚本和终态工件的受控执行单元。它们通过文件工件交接,而不是共享模糊的对话状态。

能力边界

    设计思想

    主要输入
    终态产物

    实现环节

    02 / DESIGN

    Agent 的自由,被证据约束

    SURE 把“探索性判断”和“确定性验证”拆开。Agent 可以研究、规划与修复,但不能跳过状态、伪造通过或直接写入受保护发布区。

    Agent 决定范围

    选择模型、证据、适配策略、数据集与评测路由。开放问题交给 Agent,避免把研究过程硬编码成脆弱脚本。

    状态机决定顺序

    一次只推进一个 Unit。每步都有唯一 produces 工件、重试计数与恢复点,失败后可以从 checkpoint 继续。

    脚本决定事实

    Schema 检查形状,Gate 脚本验证语义,真实命令验证运行。Agent 写出的 passed 字段本身不能证明通过。

    工件保存身份

    Runtime、锁文件、镜像 digest、预测 hash、pipeline 与报告被固化。系统复现的是整条实验身份,而不只是一个分数。

    1 · Run digest

    Hook 从本次运行生成稳定摘要,作为经验提取的证据边界。

    2 · Extract lessons

    Agent 声明没有新经验,或写出带触发条件与证据的候选经验。

    3 · Provisional

    运行结束后自动发布到 provisional 区,不直接进入可信知识。

    4 · Human promote

    人工审阅后才进入 references 与共享 facts,保留信任边界。

    5 · Context match

    后续运行只加载与当前目标匹配的少量事实,并要求再次验证。

    03 / RUNTIME

    三种 Python,三种责任

    Harness 控制逻辑、模型推理依赖和评测引擎依赖被明确分离。环境不再是“当前 shell 能跑就算通过”,而是有名字、有锁、有来源的执行身份。

    责任维度
    负责什么
    由谁使用
    身份依据
    禁止事项
    Harness Runtime
    控制面Hook、Gate、输入解析、工件验证与流程编排。
    全部 Skill每次 pre_start 绑定统一 runtime ID 与 lock。
    仓库锁定manifest、Python executable、lock SHA256。
    不加载模型不能拿控制 Python 证明模型依赖可用。
    Model Runtime
    推理面模型 import、持久 load、真实 infer 与 MCP server。
    Onboard / Trans / Eval容器是默认交付;站点可批准密封 uv Python。
    模型绑定镜像 digest 或内容寻址 Python manifest。
    无隐式回退本地 .venv、base Python、相似镜像均不算批准身份。
    Evaluation Runtime
    评测面路由解析、归一化、指标节点与报告生成。
    Eval / Reval独立准备,记录 evaluator commit 与 source hash。
    引擎锁定evaluation runtime ID、lock、engine commit。
    不污染模型评测依赖不能注入 Harness 或 Model Runtime。
    04 / EVIDENCE

    从一句命令,到一条证据链

    TUI 是入口,真正的产品是结构化工件:每个阶段都留下可复查的输入、输出、执行身份和失败上下文。

    L1

    Intent · 人的目标

    Slash command 描述目标与边界,例如模型、数据集、协议和执行方式。

    L2

    Plan · Agent 的判断

    研究证据、选择后端、制定执行计划;每个判断写入独立工件。

    L3

    Proof · 确定性 Gate

    Schema、哈希、真实运行、MCP、等价性和边界策略逐层验证。

    L4

    Record · 可复现结果

    Runtime identity、预测、pipeline、指标、报告与审批决定持久保存。

    sure-harness · audited session
    SURE Harness 从初始化、模型发现、Onboard、审批到评测的终端执行过程

    The system-level idea

    把 Agent 的能力放进工程边界里,而不是把工程边界交给 Agent。

    SURE Harness 允许开放式研究发生,同时要求每一个可运行结论都经过确定性验证、显式审批与可追溯记录。