second brain reading
← 全部阅读
2026-09-08

EvoHarnessBench / HoH / TROVE / CUA-Universe / Multi-Harness RL / Persistent Skills

harness-engineeringagent-skillscomputer-usemulti-harness-rl

EVOHARNESSBENCH(arXiv:2609.04280)

:非平稳性放在 外部 harness(tools / skills / specialist agents)而非只放任务流。部署评测看 harness 扩张时的 retention;自演化评测看积累经验对新能力是否仍有用。三缺口:harness-induced forgetting;adaptation 增益不稳定;retention 与 adaptation 可反向拉扯。对照 HarnessEvolve 的 quality/performance 双门与 CONTINUITY 的跨组件契约——扩展能力本身就是回归面。

Harness-of-Harness / HoH(arXiv:2609.01481)

:在既有 coding harness 外再套一层 planning–coding–testing 迭代;约束可验证产出而非工作流;角色分离(实现时测试 ≠ 独立评估);progressive disclosure + 版本化历史。相对 standalone harness 平均相对增益 ~52%、最大 ~83%;>70 轮多日自主做出可玩 FPS。对照 Software Factory outer loop 与 HarnessDev「Candidate=harness」——HoH 的 Candidate 更偏 软件产物,harness 作 Optimizer 容器。

TROVE(arXiv:2609.05019)

:预提交整条 route 会在中间证据失效时被迫执行过期步骤或全局重规划。离线把轨迹蒸馏成原子/组合 skill + 结果条件转移图;在线只 校验并编辑失效后缀(保留 / 局部插入 / 替换后缀)。技能编排应从「先选死结构」改为「证据驱动的选择性改道」。对照 Trace2Tower 的谱模态与 SkillGLoW family。

CUA-Universe(arXiv:2609.05374)

:真实电脑工作是 GUI+CLI 共享应用状态;App-Forge / Task-Weave / Path-Steer 把桌面软件规模化成 hybrid 环境与轨迹数据。9B 模型在 CUA-Verse / OSWorld / OSWorld-MCP 同时抬成功率并降步数与 token。Harness Tools 层应默认假设双模态,而不是纯 GUI 或纯 shell。

Multi-Harness RL(arXiv:2609.04518)

:拆开「多 harness 暴露」与「同一 relative-advantage group 内跨 harness 比奖励」。评测 harness 主导(密封评估均值 2.14%→9.27%,×4.3);Within vs Cross 分组在 held-out 上差距落入噪声。跨 harness credit 主要带来 配置适应,不自动带来可移植能力。报告必须写清 grouping boundary,并用未见 harness 测。对照 Harness-Delta Attribution 与隔离三元组。

Persistent Skills for CUA(arXiv:2609.04869)

:轨迹 + evaluator 反馈 → 持久、版本化 skill 库;冻结快照执行、参数不动。相对空库对照四域 OSWorld 升温后均值差 5.7–18.6pp;收益有条件,修订 churn 可不恢复原任务。技能库是可审计的程序性记忆,不是「越改越好」的自动神话。

交叉读法(给 articles 就地折入用)

主题 落点建议
harness 扩张遗忘 / 双评测 harness-engineering Sensors + Harness-Delta
outer loop / 角色分离 / progressive disclosure harness-engineering Software Factory;self-improvement-loops
选择性 route 编辑 / 组合 skill agent-skills-engineering
GUI+CLI 双模态环境 harness Tools;CUA 专节可挂 research
multi-harness RL 评测主导 harness-engineering + eval-engineering;隔离三元组
在线 skill 库演化 agent-skills + self-improvement
当日 dig 工作日志(去重 / ingest / ops)

2026-09-08: dig — EvoHarnessBench / HoH / TROVE / CUA-Universe / Multi-Harness RL / Persistent Skills

  • 窗口:~2026-09-06 → 2026-09-08(Asia/Shanghai)。UTC 侧尚无 09-08 新榜;近窗 09-01/03/04 提交按 date-honest 收。跳过 Ollama/vLLM 噪声。去重 SB-20260907:CONTINUITY / Trace2Tower / SU / Substrate / HarnessEvolve / Cursor Self-Hosted;以及 Civilization / SkillGLoW / MASkills / isolation triad / pvncher / alexeixbt / HarnessDev / FLT / Cursor Basis / 2609.00006。
  • Ingest(原文,未翻译)
  • Research consolidate(中文)
  • Articles:大文件就地折入延后(harness-engineering / agent-skills / self-improvement);本 dig 以 research + digest 为权威。可选 Trace2Tower/CONTINUITY fold 不阻塞。
  • Open follow-ups: EvoHarnessBench × HarnessEvolve 双门;HoH outer loop × Software Factory;TROVE route edit × Trace2Tower;Multi-Harness RL grouping × Harness-Delta;CUA hybrid Tools 默认假设;Persistent Skills revision churn 与 Keep Rate。
  • brain/log.md 未改(digest 为当日权威)。