Meta-Harness: End-to-End Optimization of Model Harnesses
来源：https://arxiv.org/abs/2603.28052 作者：Yoonho Lee 等（Stanford） 发表：2026-03-30 收录时间：2026-05-18
概述
自动化 Harness 优化的先驱论文。核心问题：Harness 目前主要靠手工设计，能不能让 Agent 自动搜索最优 Harness？
核心创新
Meta-Harness = 外循环搜索系统
在 LLM 应用外面套一层优化循环，自动搜索最优 Harness 代码：
- Agentic Proposer 访问所有历史候选的源代码、评分、执行 traces（通过文件系统）
- 不是优化 prompt 文本，而是优化 Harness 代码本身（决定存储/检索/呈现什么信息给模型）
与现有方法的区别
- 现有 text optimizer：过度压缩反馈
- Meta-Harness：保留完整的源代码+评分+执行 traces，让 Proposer 基于丰富历史做决策
实验结果
| 任务 | 结果 | |------|------| | 在线文本分类 | 比SOTA上下文管理系统高 7.7 分，同时用 4x 更少的 context tokens | | RAG 数学推理 | 单个发现的 harness 在 200 道 IMO 级别题目上，5 个 held-out 模型平均提升 4.7 分 | | Agentic Coding (TerminalBench-2) | 发现的 harness 超越最佳手工设计的基线 |
关键意义
- Harness 可以自动化优化 — 不需要人类手动迭代 AGENTS.md，Meta-Harness 可以自动搜索更好的配置
- 跨模型泛化 — 在一个模型上发现的 harness 可以泛化到其他模型（5 个 held-out 模型都提升）
- 效率提升 — 4x 更少的 token 意味着更低的成本和更快的执行
- 验证了 Harness Engineering 的价值 — 自动优化的 harness 超越手工设计，说明 harness 设计空间确实有大量未探索的优化空间
与 Harness Engineering 的关系
这篇论文是 "自进化 Harness" 方向的实证研究——对应 Externalization 论文中提到的"emerging direction"。如果 Harness 的每个组件都是对"模型不能自己做什么"的假设，那么 Meta-Harness 就是在自动化验证和优化这些假设。