明明的 AI Engineering 日报

现有 harness 缺陷基准规模小、构造成本高，阻碍了软件智能体修复这类缺陷的进展。该工作将真实故障转化为可执行的评估样本，并证明了从中可抽取出可复用的修复技能来提升智能体修复率，为智能体的递归自改进提供了一条可规模化的工程路径。

开发者可利用该工具自动收集自身项目中的 harness 缺陷，生成持续更新的评估集；修复技能库的思路也可迁移到其他领域的 agent 修复流水线中。

现有基准进化方法仅对单个任务做扰动，仍受硬编码规则限制。该工作首次将优化对象从任务级别提升到基准生成流水线，实现端到端自动进化，能持续产出更具挑战性和区分度的评测集，对缓解LLM基准饱和有直接工程价值。

开发者可借鉴其内外双循环架构，将评测集生成流程本身作为可搜索和优化的组件，从而构建自我进化的持续评测体系。对于负责模型评估的团队，该框架提供了一种自动生产高难度、不易被快速刷榜的基准的方法。

现有评测仅关注功能通过率，忽视了 agents 在真实多轮仓库开发中是否复用现有实现，导致隐性冗余积累。该工作提出的 RepoReuse 基准通过 AST 依赖图、执行验证等手段量化复用率和结构冗余，揭示 agents 在探索仓库和利用历史上下文方面的退化模式，这些缺陷是传统通过率不可见的。对构建可维护、可审计的仓库级 AI 开发工具链条至关重要。

开发者在设计 coding agent 工作流时，不应只以单任务通过率为优化目标，需引入复用检测与审计机制，避免将冗余逻辑持续注入代码库。工具链可考虑基于该基准的思想，为 agent 输出提供复用性回溯与重构提示。

论文表明用圈复杂度、嵌套深度等软件度量分组评估，能更诊断性地暴露 LLM 在真实工程场景中的可靠性风险。它为评估 coding agent 或代码助手提供了远比聚合分数更有工程诊断力的方法论。

在集成 LLM 到代码审查或行为预测工具时，需按函数复杂度细分评估，Low 区的高准确率不一定能泛化到 Medium/High 区。可直接借鉴这种基于传统软件度量的分层评估模板，建立内部持续评估体系。

该工作直面检索增强型漏洞检测研究中的可复现性危机，通过统一基准和组件分解，揭示了端到端评测掩盖的流水线不协调问题。结果指出，即使检索达到最优，检测准确率仍低，说明单纯提升检索不足以构建可靠检测。

构建RAG漏洞检测系统时，不应只优化检索或模型，而需围绕任务对齐各组件，并在流水线级别进行诊断评测，而非仅依赖端到端指标。