推特创作者的蓝朋友 · 互粉互关 / 流量趋势 / 创作者收益了解创作者计划
人工智能2026-11-11#8 / 22

推特热议「harness」:Code、任务、bench

#Code#任务#bench

2026-11-11 的统计中,「harness」在中文推特上有 34 条相关推文、28 位作者参与,累计浏览约 33.5万,当天 22 个热门话题中排第 8。讨论里出现最多的相关词是Code、任务、bench。我们收录的推文共获得 2,968 次点赞、回复、转发和引用,互动最高的一条来自 @dotey(835 赞、168 转发)。

33.5万浏览
+56.46%较上次
34推文
28作者
2968互动

「harness」热门推文

按浏览量排序,展示前 10 条。

  1. 1云辰 Cyan云辰 Cyan@CyanCloud77 · 2026-11-11 03:39

    😲😲 Codex CLI 凭什么这么猛啊?? 所以你的意思是 Sol-6.1 在 最好的Harness上还这么垃圾? https://t.co/DbxRZvUXVK

    7.4万♥ 168212在 X 查看
  2. 2宝玉宝玉@dotey · 2026-11-11 05:31

    斯坦福 CS329Z 课程资料公开:讲座每天上 YouTube,两份作业开源,第一份教你花几美元从零写个“Claude Code” 斯坦福新课 CS329Z“AI agent 工程”(Engineering AI Agents)开始对外公开全部课程资料。授课老师之一 Michael Ryan 11 月 10 日发帖说,讲座视频每天在 Stanford Online 的 YouTube 频道上一讲,两份作业的代码仓库也放到了 GitHub,都用 MIT 协议,别的学校注明出处就能拿去上课。 开课时情况不一样。课程页写的是录像只放在斯坦福内部的 Canvas 平台给选课学生看,校外的人只能下载课件。现在官方频道已经上了第 1 讲《什么是 agent 系统》和第 2 讲《写给 agent 开发者的大模型知识》,第 1 讲播放量过了 9 万。课程主页的课表也开始在每节课旁边挂视频链接。 【第一份作业:自己写一个 agent harness】 harness 是包在模型外面的那层程序:告诉模型有哪些工具、解析它的回复、替它执行命令、管理上下文。Claude Code、Codex 都可以看成一个模型加一个 harness。 作业不许用任何 agent 框架,课程只给一个最原始的接口:传进一串消息,返回一段文字,没有工具调用,也没有结构化输出,其余全靠自己写。 前半部分做几条固定流程:给邮件判断优先级、生成每日摘要、手写 BM25 检索(一种按关键词打分的经典搜索算法),再在一份真实企业的邮件档案里做多跳问答。后半部分给一家虚构的能源公司做内部助理:自己设计工具调用格式,接入文档检索,给它一个带沙盒限制的终端,对话太长时压缩上下文,跨会话记住用户的事,执行操作前让用户批准或否决。最后由大模型扮演的“模拟用户”跟你的 agent 多轮对话,再由另一个模型打分。 对自学的人来说,最有用的是全套测试都在仓库里。一开始所有测试都失败,你的任务就是让它们一个个通过。88 分自动评分里有 48 分来自不调用模型的测试,跑多少遍都不花钱。另有几处判断题作业不给标准答案,比如一条命令输出太长时给模型看多少、压缩上下文时必须留下什么、哪些操作可以不问用户,要求你写一份设计说明讲清楚自己的选择。 Michael Ryan 说不到 5 美元的 API 额度就能做完。讲义里的数字更低:用参考答案跑一遍全部线上测试花了 0.05 美元,最后的模拟用户评测再花 0.18 美元。自己调试要反复跑,花得会比这多,好在每次调用都缓存在本地,同样的请求第二次不收钱。选课学生用课程发的 OpenRouter 密钥,校外的人得自己准备一个,默认模型是 openai/gpt-6-luna。 【第二份作业:给 agent 出一道考题】 第二份作业由 John Yang 设计。他是 SWE-bench 的共同作者,这套测试用真实的 GitHub 问题考 AI 会不会修 bug,各家发编程模型常拿它报成绩。 作业教的是怎么出一道 Terminal-Bench 风格的题:给 agent 一段问题描述,让它在命令行环境里动手,最后用测试脚本判断做没做对。用的工具 Harbor 出自 Terminal-Bench 团队,它规定一道题怎么打包(题面、Docker 环境、验证脚本),并负责启动 agent、跑验证、保存结果。 作业先带你用 Harbor 跑 SWE-bench Verified、Terminal-Bench 2.1 里的现成题目。占 70% 分数的部分是自己出一道题,用 mini-SWE-agent(一个只带 bash 工具的极简编程 agent)配 Gemini 3.8 Flash 跑五次,分析这道题是否有效、贴近真实、能复现、有难度。需要装 Docker,准备 Gemini 或 OpenRouter 的密钥。 两份作业的说明文件末尾都写了致谢:第一份是在 Claude Fable 5.1 的大量帮助下做出来的,第二份用了 Claude Opus 5.5。 【后面还有什么】 课程由斯坦福计算机系的 Diyi Yang 和两位博士生 Michael Ryan、John Yang 共同讲授,第一届有 100 多名学生。这学期的课表里还有 Andrew Ng 的炉边对谈,还有 SWE-bench 两位作者 Carlos Jimenez、Alexander Wettig(现在在 Anthropic)的客座讲座。Michael Ryan 说之后还会公开学生做的作品。主要资助方是 Laude Institute,Thinking Machines、Google Cloud、AWS 和 Harbor 给学生提供了 API 额度。 照着第二份作业讲义克隆仓库时注意,讲义里写的仓库名是 assignment2-harness,实际地址是 assignment2-evals。 课程主页:https://t.co/y7KbVMdU2r 第 1 讲视频:https://t.co/Ls8MuXXJNH 第 2 讲视频:https://t.co/gs46i1u5FX 作业一仓库:https://t.co/BzYDnPsmsN 作业二仓库:https://t.co/dbAzZW2Zkt 原帖:https://t.co/1tVnCAIpHY

    5.5万♥ 835136168在 X 查看
  3. 3思维怪怪思维怪怪@0xLogicrw · 2026-11-11 04:31

    独立开发者 @yetone 开发的 Alma,在最新一轮 AI Agent 横评中,同时拿下任务通过率和成功成本第三名,把 Claude Code、OpenCode 等知名工具甩在了身后。 这次评测由 AI Agent 基础设施公司 Runta 发起。在当前的榜单快照中,Alma 的任务通过率为 72.7%,仅次于 Codex CLI 的 77.9% 和 Pi 的 72.8%。Claude Code 则为 70.0%。 Alma 不仅通过率更高,完成任务也更省钱。它每成功完成一道题平均花费约 0.80 美元,Claude Code 为 0.94 美元,成本低约 16%。 这次 FrontierHarness v1.1 专门研究一个问题:同样的大模型,换一套 Agent 执行框架,表现究竟能差多少? 评测覆盖 21 组 Harness 配置、5 款大模型和 62 项任务,每项重复 4 次,计划运行 26,040 次,规模达到上一版的 72 倍。所有工具都在统一的云端环境中运行,比较任务成功率、Token 成本和执行速度。 Alma 是一款主打本地运行、长期记忆的 AI Agent,能直接读取和修改代码、执行终端命令、搜索网页,还支持 Skills 和 MCP。它可以自由切换底层模型,不依赖某一家模型厂商。 最近,Alma 还整合了 Herdr。Claude Code、Codex、Pi 等编程 Agent 可以继续在 Herdr 中运行,Alma 则把它们集中到一个聊天界面,查看执行过程、回复问题和批准操作。用户可以通过 iPhone 远程管理电脑上的多个 Agent。 目前评测尚未结束,排名仍会变化。参测模型也仅限 GLM、DeepSeek、Kimi、Muse 这几款开源模型,没有覆盖 GPT 和 Claude 系列闭源模型。

    2.9万♥ 1022611在 X 查看
  4. 4Yifan XuYifan Xu@yifanxu_ephai · 2026-11-10 23:57

    有几个比较有意思的finding: 1. 虽然codex是平均来说最省钱的harness,但是最省钱通过率最高的组合是pi+deepseek v4.1 flash。deepseek v4.1 flash较其它模型也同时在其它极简harness表现非常出色。 2. PI装上OMP插件后分数骤降,大家还不赶紧卸载后端插件和skill? 3. Antigravity丝毫不意外地排名垫底…… 说说我的感想: FrontierHarness Eval证明了极简模式的超级大胜利,唯一需要注意的点就是codex,因为他们优秀的exec_command + write_stdin设计表现非常突出。 其实间接说明了我多次公开表达的观点: Harness已死,极简等死。

    2.3万♥ 1262810在 X 查看
  5. 5Xudong HanXudong Han@Xudong07452910 · 2026-11-11 00:30

    之前推荐过几篇 Agent Eval 相关的文章,今天再推荐一篇 LangChain 最新的《What Is Eval-Driven Development》,这篇讲得挺实用,很适合正在做 Agent 和 Harness 的朋友。 文章主要介绍 Eval-Driven Development(EDD),核心思路是把 Eval 融入 Agent 的日常开发。 先定义什么算成功,写好 Eval、跑 Baseline,再修改 Prompt、Tool 或 Harness,通过相同的任务对比效果。 文中有个挺有意思的例子。 给知识库 Agent 新增 create_ticket 工具后,整体 Eval 分数提高了,结果它连「VPN 怎么连接」这种普通咨询都开始创建故障工单。 通过 Trace 排查才发现,工具描述太宽泛,导致 Agent 错误调用了工具。 这也说明不能只看 Eval 平均分。一次改动可能让新任务表现更好,却破坏原本正常的功能。除了最终结果,还需要检查执行轨迹,并保留独立测试集,避免反复优化导致过拟合。 这套思路很值得借鉴,尤其是现在大家都在不断调整 Skill、Prompt 和 Harness。 新增一个 Skill、修改一段 Workflow,甚至删掉旧 Harness,都应该通过 Eval 判断是否真的有效。 感觉 Eval-Driven Development 很值得成为 Agent 开发中的常规习惯,每次迭代都能有据可依。 原文:https://t.co/yAxHHtStaT

    2.3万♥ 3441250在 X 查看
  6. 6码良码良@cxjwin · 2026-11-11 01:47

    最近在治理项目的 Harness 基建,发现几个挺值得深思的问题。 1. 知识库到底有没有用? 大量 Markdown 文档写完就再也没人维护。代码已经迭代了好几个版本,知识库还停留在过去。AI 读得越认真,可能错得越离谱。 2. Skill 到底有没有用? 项目里沉淀了几百个 Skill,却没有完善的埋点和评测体系。不知道哪些被频繁调用,哪些真正提升了效率,哪些甚至在拖后腿。 只知道 Skill 越来越多,却不知道整体能力有没有变强。 3. 门禁到底靠不靠谱? 很多工程规范还停留在 Rules、Markdown 和 Prompt 层面,依赖模型自觉遵守。 换一个模型、换一个 Harness,可能就失效了。原本应该由工程工具保障的确定性约束,反而交给了概率性的模型。 4. Harness 的健康度怎么衡量? 模型能力不断升级,势必会逐渐内化过去需要依靠 Rules、Skills 才能完成的能力。 那么,之前辛辛苦苦沉淀的东西,现在到底是正收益、负收益,还是毫无作用? 没有基线,没有对照实验,也没有持续评测。我们甚至不知道什么时候该做加法,什么时候该做减法。 5. 最佳实践在哪里? 每个人都有自己的 AI Coding 工作流,各用各的 Harness,各写各的 Rules、Skills。 有些所谓的最佳实践,可能还是一年前的古法 AI Coding 技巧。个人经验缺乏验证,也很难真正转化为团队的工程能力。 ⸻ 这让我想到一个问题:古法编程时代有软件架构师,AI Coding 时代,是不是也应该有 Harness 架构师(Harness Architect)? 传统架构师负责系统架构、技术选型、模块边界、性能和稳定性。 而 Harness 架构师,可能需要关注另一套体系: 如何组织上下文,让 AI 正确理解项目? 如何设计 Tools、Rules、Skills,明确能力边界? 如何构建不依赖特定模型和 Harness 的工程门禁? 如何通过 Evals 和可观测性,证明每项基建的实际收益? 如何随着模型升级,持续淘汰过时甚至产生负收益的能力? 传统架构师设计的是软件如何运行,Harness 架构师设计的是 AI 如何参与软件工程。 过去我们追求的是代码复用、模块解耦、架构演进。 未来可能还需要追求上下文治理、能力复用、行为约束和持续评测。 而且我越来越觉得,好的 Harness 架构师,不是能沉淀多少个 Skill、写多少行 Rules,而是知道哪些东西根本不需要存在。 模型越来越强,Harness 未必应该越来越重。 AI Coding 的下半场,可能不再是比谁更会使用 AI,而是比谁更懂得如何工程化地管理 AI。

    1.9万♥ 1653825在 X 查看
  7. 7寒塘poolmoon寒塘poolmoon@poolmoon6 · 2026-11-10 22:49

    所有Harness放在一起打榜,所以:一顿操作猛如虎,Codex始终Top 5? https://t.co/PxIQhfzrzS

    1.6万♥ 30201在 X 查看
  8. 8Xudong HanXudong Han@Xudong07452910 · 2026-11-11 01:18

    很明显中国 AI 公司都开始谈 RSI(递归自我改进)了,但大家对「自我改进」的理解可能还不太一样。 很推荐阅读 Asterisk 写的这篇《How Chinese companies talk about recursive self-improvement》。 两位 GovAI 研究员梳理了阿里、DeepSeek、MiniMax、智谱、小米等八家中国 AI 公司的公开资料,发现大家以前更多谈「自进化」「自学习」,直到今年 7 月才开始使用 RSI 这个词。 但实际的技术探索已经挺有意思了。 比如 MiniMax 让 M2.7 在内部 Harness 上迭代超过 100 轮,自己分析失败轨迹、修改 Harness 代码、重新运行 Eval,再决定是否保留改动,最终在内部评测中提升了约 30%。 智谱则让 Agent 参与推理基础设施的分析、代码修改和实验优化。小米的 CodeMidas 甚至尝试从现有代码库自动构建 RL 训练环境。 文章还提到一个有意思的差异。 相比硅谷经常把 RSI 与「智能爆炸」联系起来,中国公司的讨论更多落在实际研发和应用上,背后也有算力成本、商业竞争等现实因素。 我个人挺希望以后相关的技术发布,能多展示一些完整的实验过程。 比如 Agent 自己发现了什么问题,尝试过哪些失败方案,最终保留了什么改动,以及人在哪些环节参与决策。 感觉这些真实的研发过程,比一句「实现了自我进化」更能让人感受到技术究竟走到了哪一步。 原文:https://t.co/aNE7VMaUcD

    1.1万♥ 1921131在 X 查看
  9. 9海拉鲁编程客海拉鲁编程客@hylarucoder · 2026-11-11 01:29

    gemini 4 carbon 应该是被远远低估了 完全是被 harness 拖累的模型

    9692♥ 44210在 X 查看
  10. 10陈成陈成@chenchengpro · 2026-11-11 08:49

    和 harness 也有比较大关系,我跑了一版 3d 鹈鹕,除了有一点点光影部分的穿模,整体效果还是很出色的。 https://t.co/ZLaPE2SDz0

    7399♥ 1952在 X 查看

同一天的其他人工智能话题

数据通过推特数据接口从中文推特公开推文中采集,浏览和数量是快照时的数据,不是实时数值。 数据口径

相关工具与指南