跳到正文
Soren
← 返回 Knowledge

AI 系统 学习笔记

为什么 Agent 开发这个工作“怪怪的”?

当下一代模型可能吃掉今天的胶水代码,哪些工程能力仍值得积累?从模型边界走向系统边界。

从核心结论开始 ↓
模型提出行动
执行系统

权限 · 校验 · 状态 · 幂等
审批 · 恢复 · 审计

工具改变世界
让能力经过边界,再抵达真实业务。

模型能力会升级;身份、权限、业务规则、状态与故障恢复,仍需要被认真设计和验证。

补丁会折旧,系统仍需建设

传统开发的抽象与架构经常可以长期复用。Agent 开发却有一种不稳定的触感:今天写下的大量解析、路由和规划逻辑,下一代模型可能原生就能完成。

真正值得区分的,是为当前模型缺陷打补丁,与把模型接入真实业务系统。

前一类工作可能随着模型升级而缩减;后一类工作的目标,是让模型的建议经过明确规则,成为可授权、可验证、可恢复的行动。这个划分是分析工程价值的视角,不是所有岗位的未来时间表。

本文从所提供的 Bilibili 视频学习笔记重组而来;视频转述、个人判断与补充工程资料,在文中分别说明。

模型能力边界与业务系统边界

两类工作都可能表现为“加校验、加重试”,但它们要解决的问题不同。

判断一段工程逻辑为何存在
维度模型能力边界业务系统边界
典型问题格式不稳定、工具选择错误、长任务遗忘、规划漂移。身份、权限、事务、数据一致性、审批与审计。
升级后的变化可能简化,也需要重新评估。规则仍须由业务与执行系统落实。
重试的例子让模型重新生成合规参数。处理网络超时,并避免重复扣款。

“模型能力更强”不意味着所有补丁立刻失效。结构化输出仍要通过业务校验;长上下文仍有成本和信息选择问题;工具调用再准确,也不能替代权限检查。

复查一个模块时,先问:如果明天换成更强的模型,这条规则是否仍然需要?保留有业务意义的约束,评估已经可以删减的能力补偿。

让建议经过规则,才成为行动

语言模型的输出并不提供业务正确性保证。模型可能理解错误、编造信息、选择错误工具或参数。软件系统需要把身份、约束和状态变化写成可检查的规则。

  1. 01模型理解与推理
  2. 02生成结构化行动
  3. 03执行系统校验
  4. 04授权后调用工具
  5. 05验证结果与记录状态

订单从 CREATED 到 PAID、SHIPPED、COMPLETED,应由已发生的业务事件推动。模型说“应该已经发货”,不能成为跳过付款与出库检查的理由。

这里的“确定性系统”指关键规则和状态转换被显式实现,不意味着现实世界没有故障,也不意味着程序能绝对保证不出错。LLM 负责提出方案;执行系统负责约束它能做什么,以及怎样确认执行结果。

一笔采购款,需要哪些保证?

假设一个供应链 Agent 判断库存不足,建议向供应商支付 20 万元采购款。自然语言建议可以合理,但它不应直接变成一次付款调用。

  1. 01身份认证
  2. 02权限与额度检查
  3. 03库存及订单核对
  4. 04业务审批
  5. 05执行与幂等控制
  6. 06结果核对与审计

尤其要处理“成功了,但没有收到回执”

付款接口超时,可能意味着请求没有执行,也可能意味着付款成功而响应丢失。盲目重试会带来重复付款风险。

  • 给业务操作绑定稳定的幂等标识,并由接收系统落实去重。
  • 执行前检查当前订单状态、金额、收款方和审批记录。
  • 结果不明确时,查询交易状态、进入待核对状态,必要时交给人处理。
  • 留下参数、操作者、批准者、工具响应与最终状态,支持追踪和恢复。

这是一个简化的教学案例,具体事务边界、支付协议与风险阈值仍取决于真实业务。关键在于:把不确定性留在明确的状态中处理。

链路越长,验证越重要

一个有用的数学示意:若每一步成功概率均为 95%,各步独立,而且整个任务要求十步全部成功,则:

0.95¹⁰ ≈ 59.9%

这是简化模型,不是所有 Agent 的实测成功率。真实步骤可能相关,重试、恢复与验证也会改变结果。

因此,不能只画一条 LLM → Tool → LLM 的链,就把它视作可靠系统。重要节点需要验证结果、保存检查点、限制超时与重试,并隔离失败。

  • Checkpoint:记录已确认的进展,恢复时不必全部重做。
  • Validation:使用真实环境结果核对目标,避免模型自称完成。
  • Retry / Fallback:区分可重试与不可重试的失败,设定预算。
  • Interrupt / Resume:支持暂停、人工介入与继续执行。

增加 Agent 数量或审查轮数,也会增加成本、延迟和失败入口。复杂度是否值得,应由任务评估决定。

怎样选择更耐用的技能?

下面是学习投资的启发式划分,不是精确的价值排序。某个项目仍可能必须使用专门 Prompt、Router 或复杂 Workflow。

从模型适配,走向系统建设
层次例子学习重点
随模型变化较快特定 Prompt 技巧、手工 JSON 修复、补偿式规划。理解使用条件,及时复评,避免过度绑定。
持续演进的 Agent 工程Context Engineering、工具设计、Eval、Runtime。用真实任务检验可靠性、成本与维护负担。
长期软件基础后端、数据库、状态机、分布式系统、安全、可观测性。明确数据、权限、状态变化与故障恢复。

框架能帮助实现,但熟练调用某个框架 API,不等于理解执行语义。更稳妥的职业目标是:能够设计、构建和维护 AI Agent 系统的软件工程师。

上下文、工具与评估怎样落地?

Context Engineering:在需要时提供需要的信息

选择相关资料,保留必要状态,检索记忆,压缩历史,筛选工具结果。上下文窗口变大后,也仍要考虑成本、信息相关性与维护。Anthropic 的工程文章提供了一套可参考的实践视角。

Tool Design:动作边界要清晰

把 do_everything() 拆成可理解的动作,例如查客户、读订单、验证订单和退款。输入、输出、权限、错误与副作用要明确。查询与写入的语义不同,重试策略也不同。

Eval:用一组任务,观察一类失败

关注端到端任务成功率、工具调用成功率、事实错误、延迟、成本和失败类型。不要用一次演示代替评估;模型或工具升级后,使用代表性任务重新检查。

评估也应覆盖不该执行的动作:越权是否被拒绝?参数不合法时会怎样?回执丢失后会不会重复执行?这些能力需要测试实际系统边界。

Harness:模型之外的运行环境

可以把 Agent Harness 理解为围绕模型的运行环境:它提供上下文、工具、权限、沙箱、记忆、检查点与观测能力。不同实现对 Harness 和 Runtime 的范围划分不完全一样。

模型提供理解与生成能力;Harness把它连接到任务、工具、状态与约束。

日志与 Trace 应能回答:运行了什么动作,使用了什么参数,工具返回了什么,哪里失败,花了多少时间与成本。记录过程不等于要求模型暴露私有思维链;可观察的操作与结果已经是重要证据。

运行环境还要处理不可信的输入。文档、网页和工具输出可以提供信息,但其中的指令不能自动获得用户授权,也不能绕过执行权限。

持久执行、状态恢复和事件历史有成熟的软件工程积累,Temporal 的 Workflow Execution 文档是一个参考。使用任何平台都仍须理解外部副作用与幂等的边界。

来源与阅读边界

起点是所提供的《为什么我觉得 agent 开发这个工作怪怪的?》中文笔记。原笔记没有视频 URL、作者身份或完整逐字稿,所以本文不将其中的转述作为逐字引文。技能折旧与职业价值属于个人综合判断;以下资料用于补充工程概念,并不替这些预测背书。

  1. Anthropic · Building effective agents(2024)

    Workflow 与 Agent 的区分、工具接口、环境反馈与按需求增加复杂度。

  2. Anthropic · Effective context engineering for AI agents(2025)

    上下文选择、压缩、工具和长任务管理的实践视角。

  3. Temporal · Workflow Execution overview

    持久执行、事件历史与恢复;作为软件系统的参考,而非 Agent 的唯一架构。