AI Agent 架构与实战指南:记忆、规划、工具调用及论文整理实例
Miles Ma @miles_mazy•大厂转型 FDE 的 AI 算法工程师•发布日期:2026-08-27
# 系统架构拆解 · # 实战可复现
Agent 从入门到实战指南
我最近给孩子买了一本书,叫《给宝宝的机器人学》。
书里从做一个圆形开始:最早拿笔画,再用剪刀剪;后来换成圆形工具,压一下就能得到一个圆;再往后有了机器、程序、传感器、摄像头、传送带和机械臂,最后做成了一台可以自动生产圆形的机器人。
Agent 的演进路径也是如此。
大模型学会回答问题以后,大家很快发现光会回答还不够。它得拿到最新数据,要能打开文件,得知道刚才那一步有没有做成,还得在出错以后继续处理。今天看到的 Claude Code、Codex 和各类桌面 Agent,都是为了解决这些具体问题一步步演进出来的。
01 大模型与 Agent 的核心区别
大模型负责生成答案,Agent 会接着把事情做完。
把一份会议纪要发给大模型,它会在对话框里整理出行动清单。把同一项任务交给 Agent,它可以自己找到会议文件,读取内容,生成清单并写回项目目录,再检查负责人和截止时间有没有遗漏。
传统聊天模型(LLM)
输入一段 Prompt,在对话框内输出文字答案。它不直接读写本地文件,也无法运行命令验证自己的输出是否正确。
AI 智能体(Agent)
以模型为决策中枢,具备读写文件、运行命令、调用 API、检查结果与报错重试的工作环境,直接交付已完成的任务产物。
Agent 内部同样包含大模型。但在此之上,它还能读取文件、调用工具、记录当前进度,并把结果写回本地。聊天模型交付的通常是一段文字,Agent 交付的则是一张表格、一个改好的文件,或者一项已经跑完的任务。
同一个模型放进不同产品,实际表现差距很大。放在网页聊天框里,它只能看到当前对话;放进 Claude Code 或 Codex CLI,它可以读取文件、运行命令并查看报错;放进 Codex 桌面端,它又能管理项目、保存任务、展示文件改动并等待权限确认。
这种差距取决于模型本身的能力,更取决于它能访问哪些文件、调用哪些工具,以及执行完成后是否会重新打开核对。
左边是一份回答,右边是一项做完的工作
图解:左边是一份回答,右边是一项做完的工作
真实案例:医学生朋友的使用反馈
上周我给一位学医的朋友装了 Codex。他以前也用豆包和元宝辅助信息录入与文献阅读,但每次都要自己手动搬运:先把 AI 的回答从对话框复制出来,再逐项粘贴进表格或文档。
装好 Codex 后,他很快反馈说免费额度不够用,让我帮他充值了 20 美元会员。
他并没有学编程。真正的变化在于 Codex 进入了他的工作目录:读取指定文件夹里的文献材料,调用脚本处理内容,把结果写回表格,再重新打开检查。以前 AI 只给一段文字,剩下的整理由他手动完成;现在的 Agent 直接接管了中间那段文件处理流程。
会写、会总结的聊天 AI 他早就用过;真正让他愿意付费的,是 AI 能够进入本地文件和软件,把一段具体工作接过去。
02 模型基础:早期 AI 仅负责生成文本
大语言模型的基础工作,是根据前文预测下一个最可能出现的 token。token 有时是一个字,有时是半个英文单词。文章、代码和对话回复,都是这样逐个 token 生成出来的。
2017 年提出的 Transformer 架构,让模型更擅长捕捉上下文前后的依赖关系,也让大规模并行训练成为可能。随着训练语料与代码量的扩大,模型逐步具备了写作、翻译、摘要和编写程序的能力。
早期的预训练模型更像文本续写器。后续引入指令微调(SFT)和人类反馈强化学习(RLHF)后,它才学会按用户指令作答并输出指定格式,接近今天常见的对话助手。
推理模型进一步提升了多步逻辑任务的稳定性,在数学、编程和复杂分析上会在输出结论前做更充分的推演。但即便如此,纯模型的能力依然停留在文本生成层:它看不到你电脑里的本地文件,拿不到刚发生的新闻,也没有读取邮箱或修改表格的权限。
这也解释了模型为什么会生成看似通顺的错误信息。它输出的是当前上下文中概率连贯的文本,并不会自动回到原始资料逐项核对。如果人名、年份和论文题目缺少来源约束,模型就容易把几条相近信息拼凑在一起。
上下文窗口扩大后,模型单次能读取更多材料。但窗口仍有上限,任务越长,文件内容、工具返回和历史步骤占用的空间就越多。工程系统必须决定哪些内容保留在上下文里,哪些压缩成摘要,以及何时重新打开原文件核查。
模型的输出是一个 token 接着一个 token 生成的
图解:模型的输出是一个 token 接着一个 token 生成的
放到后文的论文资料整理项目里,仅靠模型时我们只有一个“摘要提取器”。手动复制一段摘要喂给它,它能提取题目、研究对象和主要结论,但找下一篇论文和填表归档仍需人工完成。
03 Tool 与 API:让模型获取外部实时数据
模型训练时记住的静态知识会过时。天气、订单、日历和论文数据库每时每刻都在更新,要获取这些实时数据,就必须访问外部软件服务。
API 是软件开放给外部程序调用的接口。天气 API 接收城市和日期,返回气温与降水;日历 API 接收时间、标题和参与人,新建一条日程。Tool 则把这些接口封装成模型能读懂的结构化说明:该工具的用途、必填参数以及返回格式。
工具调用交互流程
- 用户提问2. 模型决定调用 Tool3. 系统执行 API 取回数据4. 模型组织真实答案
当你问“明天杭州会不会下雨”时,模型先从工具列表中选中天气工具,输出参数“杭州”和“明天”。宿主程序校验权限后请求天气 API,再把返回的 JSON 数据传回模型,模型读取真实天气数据后生成最终答复。
在这一过程中,模型只负责挑选工具、填写参数和解读返回值;宿主程序负责发起网络请求、保管密钥并隔离权限。模型不会因为调用了天气工具,就自动获得邮箱或数据库的访问权。
2023 年,ChatGPT Plugins 和 Function Calling 普及了这一交互模式。搜索、计算器、邮件、日历和数据库开始注册为模型可按需调用的标准工具。
工具说明与报错信息的质量会直接决定调用成功率。如果描述只写“查询数据”,模型很难判断何时调用;改成“按订单号或时间范围查询客户订单”,选择就会准确得多。报错信息同理:只返回“执行失败”无法指导下一步,明确返回“订单不存在”或“当前账号无查询权限”,Agent 才能采取对应的重试或上报策略。
Tool 和 API 让模型拿到训练数据之外的最新结果
图解:Tool 和 API 让模型拿到训练数据之外的最新结果
演进到这一步,论文资料项目就可以接入 PubMed 检索工具:模型将研究问题转化为检索词,工具拉取真实的 PMID、作者、年份和摘要,再交由模型归纳结论。书目来源由接口保证真实,内容提炼由模型完成。
04 Agent Loop:做完一步,再看下一步
单次 Tool 调用只能完成一个独立动作。而真实任务往往需要连续执行多步:先查找本地材料,读取正文,发现缺项后检索外部数据库,写入汇总表格,最后重新打开表格核查遗漏。
Agent Loop 指的就是这一循环机制:观察当前状态,执行一个动作,读取返回结果,再决定下一步动作。
2022 年提出的 ReAct 框架将推理(Reasoning)与行动(Acting)交替串联。搜索无结果时换一组关键词,命令报错时阅读错误日志修正参数,文件生成后重新打开核对字段是否齐全。
循环过程中需要持续维护任务状态。Agent 必须记录哪些文件已读取、哪些步骤已完成、哪些异常待处理。当长任务占满上下文时,系统会将早期过程压缩为摘要,同时保留关键中间结果。
执行计划也会随实际反馈动态调整。例如原计划读完 3 份材料就写报告,但第 2 份材料的数据与前文冲突,Agent 就会临时插入一步溯源核查,不会被初始计划锁死。
此外,循环必须有明确的停止与升级条件。文件写入成功不代表任务合格。如果验收标准规定“12 份材料全部覆盖、合并重复项、标出缺失字段”,Agent 就需要重新读取输出文件逐项核对;遇到无法自行裁定的数据冲突时,则暂停执行并交由你确认。
结果不合格就回去再做一遍,这就是 Agent Loop
图解:结果不合格就回去重做,这就是 Agent Loop
2023 年走红的 Auto-GPT 就采用了这种自主循环架构,但受限于当时的模型推理能力,常出现遗忘主目标、原地死循环搜索或将前一步错误不断放大的问题。直到推理模型、工具接口、上下文压缩和终止条件同时成熟,Agent 才真正进入日常生产环境。
05 文件、终端和屏幕:接入本地工作环境
网页聊天框只能看到你手动粘贴进去的文本。接入本地文件系统后,Agent 可以自主遍历目录、打开文档并将产物保存到指定文件夹;接入终端命令行后,它能批量检索内容与转换文件格式,还能运行数据处理脚本并执行自动化校验。
终端里的每一步操作都有确定性反馈。命令退出码、缺失的文件路径、生成表格的实际行数,都会原样传回 Agent Loop,让模型依据真实执行结果修正动作。
对于没有开放 API 的传统桌面软件,2024 年 Anthropic 发布了 Computer Use 公测,支持模型根据屏幕截图移动鼠标、点击按钮和输入文字;2025 年 OpenAI 的 Operator 与 Computer-Using Agent 也采用了同类视觉交互方案。
GUI 屏幕操作虽然能兼容旧软件,但执行速度和稳定性远不如结构化接口:窗口遮挡、网页弹窗或登录态过期都会打断任务。因此工程上的通用原则是:有 API 或命令行工具时优先走结构化接口,确实没有接口时再用屏幕操作兜底。
操作权限越大,安全隔离就越重要。Agent 读取外部文件或网页时,可能会遇到隐藏的提示词注入指令。通过项目目录隔离、沙箱限制和高危操作人工审批,才能明确限定它允许访问的路径与修改范围。
文件和终端把模型的回答变成电脑里的实际结果
图解:文件和终端把模型的回答变成电脑里的实际结果
以论文资料整理项目为例,权限边界可以收得很窄:原始文献放在项目子目录内,汇总表格写入单独的输出文件夹,外部检索仅访问公开的 PubMed 接口,既无需读取整块磁盘,也不接触任何患者隐私数据。
06 MCP:统一外部软件接入标准
每款 Agent 都需要连接在线文档库、数据库、设计软件和代码仓库。早期每增加一个工具就要为不同 Agent 单独编写适配代码,维护成本很高。
2024 年发布的 MCP(Model Context Protocol) 定义了统一的上下文与工具接入协议。一个 MCP Server 会向宿主客户端声明工具清单,写明每个工具的参数格式与返回结构。Codex 等客户端接入后,模型即可直接从这份标准清单中按需调用。
一个 MCP 连接中心,可以把多种外部工具交给 Agent
图解:一个 MCP 连接中心可以把多种外部工具交给 Agent
MCP 底层调用的通常仍是各服务的 API。API 负责实际查询或修改远程数据,MCP 负责把接口描述与通信格式标准化。它本身不替代模型做规划,也不替代用户管理授权。
接入 MCP 后,工具本身的返回范围与安全性依然关键。单次查询如果直接返回几万行原始日志,会迅速挤爆上下文窗口;写入类接口如果缺少变更预览与人工确认,很容易造成线上误操作。因此返回行数限制、报错提示和读写权限拆分缺一不可。
模型接上的东西越来越多,Agent 才有了今天的样子
图解:接入文件、终端和外部协议后,形成了当前的 Agent 形态
07 从 CLI 到桌面端:面向非技术用户的工作台
2025 年,Claude Code 和 Codex CLI 让软件工程师率先用上了本地 Agent。输入“排查登录失败的原因,修复后运行单元测试”,Agent 就会检索代码库、读取源码、修改文件并执行测试。测试报错就读日志继续改,全部通过后再展示代码改动供人工审查。
代码仓库天然适合早期 Agent 落地:所有文件都在目录树里,终端现成具备搜索、编辑、编译和测试命令,报错堆栈清晰,改动前后可查看 Git Diff,改坏了还能随时回滚。
但纯命令行界面(CLI)对非技术用户门槛较高。普通办公人员很难看懂满屏滚动的终端日志,不清楚 Agent 走到了哪一步,也不知道它改了哪些文件、下一步申请什么权限。
2026 年 2 月,Codex 桌面端发布。它将项目目录、任务队列和文件变更对比整合进图形化工作台,同时内置了产物预览与权限审批面板。交互的基本单位从“单轮聊天”变成了“独立任务”:每个任务可在后台持续运行并调用工具,完成后留下结果文件、修改记录与待确认清单。
桌面端把终端里的工作过程摊开给人看
图解:桌面端直观展示终端里的执行进度与产物变更
同一项目下还可以并行开启多个独立任务:一个整理文献,一个核对引用,另一个生成汇报页面,各自维护独立的上下文与文件变更。你不必一直盯着屏幕等待,稍后回来也能清楚看到每份产物的生成过程。
同一个项目可以同时保留多个任务,每项工作都有自己的进度和上下文
图解:同一个项目可同时保留多个任务,各自维护独立进度和上下文
工程界通常把包裹在模型外层的这套运行环境称为 Harness。你只需记住它的分工:模型决定下一步做什么,宿主工作台(如 Codex)负责把文件、工具、权限拦截和执行结果递到模型面前。缺少这层运行环境,再强的模型也只能停留在对话框里提建议。
08 实战演练:用 Codex 搭建论文资料整理 Agent
下面以这位医学生朋友的实际需求为例,从零搭建一套可复用的工作流:放入几份公开论文或摘要文件,让 Codex 提取题目、作者、年份、研究对象、主要结论和原始来源。原文查不到的字段必须留空或标为待确认,严禁模型自行猜测补全。
论文资料 Agent 实战流水线
图解:论文资料 Agent 从原始材料到结果交付的完整流水线
1初始化项目目录结构
在电脑上新建一个名为“论文资料整理”的空文件夹,用 Codex 打开该目录。新建任务并发送以下指令:
步骤 1:初始化文件夹结构
| 1 | 请在当前项目里建立三个文件夹: |
| 2 | |
| 3 | 原始资料:保存论文、摘要和文献导出文件 |
| 4 | 整理结果:保存表格和待确认清单 |
| 5 | 参考模板:保存我认可的表格样例 |
| 6 | |
| 7 | 只创建文件夹,不要处理材料。 |
| 8 | 不要修改“原始资料”里的文件。 |
目录建好后,先放 3~5 份公开论文或摘要文件到“原始资料”文件夹。初期样本量控制在个位数,方便人工逐条核对首轮输出。
2用 Plan 模式跑通首轮本地整理
将输入框切换到 Plan 模式,让 Codex 先扫描文件并列出执行计划,经你确认后再写入文件:
步骤 2:首次 Plan 规划与提取
| 1 | 读取“原始资料”中的全部文件,整理一份论文索引。 |
| 2 | |
| 3 | 表格包含:题目、作者、年份、研究对象、主要结论、原文件名和来源链接。 |
| 4 | 重复论文合并。 |
| 5 | 原文没有写明的信息标记为“待确认”,不要推测。 |
| 6 | 结果保存到“整理结果”,不要修改原始文件。 |
| 7 | 先给出处理计划。计划中列出你识别到的文件、准备生成的文件,以及完成后怎样检查遗漏。 |
| 8 | |
| 9 | 等我确认后再执行。 |
结果生成后直接打开表格核对:放入 5 份材料,表格行数与来源就应准确对应这 5 份;重复文献是否按题目、DOI 或 PMID 合并,一眼就能看出。接着随机抽查两条“主要结论”回原文比对,如果原文未提及的信息写成了确定结论,立即让 Codex 删除并重新核查整张表。
首轮测试暂不接 MCP,也不封装 Skill,先验证 Codex 仅凭本地文件能否稳定跑通提取与核对流程。
3针对缺失书目字段补充 PubMed 检索工具
本地保存的零散摘要常缺少发表年份、期刊名或 PMID。手动逐篇搜索耗时较长,可以让 Codex 直接为当前项目编写一个 PubMed 官方接口检索工具:
步骤 3:制作并接入 PubMed 检索工具
| 1 | 当前项目缺少公开文献检索能力。 |
| 2 | |
| 3 | 请先调研 PubMed 的官方公开接口,再为当前项目制作一个检索工具。 |
| 4 | 输入研究问题、论文题目或检索词后,返回:PMID、题目、作者、年份、期刊、摘要和 PubMed 原始链接。 |
| 5 | 单次最多返回 20 条。 |
| 6 | 缺失字段保留为空,不要推测。 |
| 7 | 工具只在当前项目中读写。 |
| 8 | |
| 9 | 先给出方案,说明会新增哪些文件、怎样测试。 |
| 10 | |
| 11 | 等我确认后再制作。 |
这一步无需你手写代码,Codex 会自行完成脚本开发。方案输出后重点检查三点:数据源是否为 PubMed 官方接口,文件读写是否限制在当前项目目录内,查无结果时是否清晰返回空值。你可以让它用一个公开检索词拉取 3 条记录,验证 3 个 PMID 链接均可正常访问且题目、年份准确无误后,再并入正式流程。
4将长期硬性约束写入 AGENTS.md
口头交代的注意事项很容易在新建会话后丢失。Codex 每次启动任务时都会自动读取项目根目录下的 AGENTS.md,我们可以把不可逾越的项目规则固定在里面:
步骤 4:创建 AGENTS.md 规则约束
| 1 | 请在项目根目录创建 AGENTS.md,写入以下规则: |
| 2 | |
| 3 | 1. 只处理公开论文和我放入“原始资料”的文件。 |
| 4 | 2. 不接触患者资料,不生成诊断或治疗建议。 |
| 5 | 3. 所有结论必须能回到原始摘要或来源链接。 |
| 6 | 4. 缺失信息写“待确认”,禁止补写。 |
| 7 | 5. 原始文件只读,结果只能写入“整理结果”。 |
| 8 | 6. 交付前检查文件数量、重复 PMID、空字段和失效链接。 |
| 9 | |
| 10 | 写完后重新打开 AGENTS.md,把内容复述给我。 |
此后在该项目下新建任何任务,Codex 都会自动加载这份规则。后续若需调整验收标准,直接修改 AGENTS.md 即可,无需在每次对话中重复输入。
AGENTS.md 跟着项目走,Skill 留下可以重复使用的方法
图解:AGENTS.md 绑定项目边界规则,Skill 保存可重复调用的操作流程
5资料存放在外部软件时,按需接入 Plugin 或 MCP
如果文献已经下载到本地文件夹,直接使用本地读写即可。只有当资料保存在 Google Drive、Notion 或团队在线知识库时,才需要接入外部连接器。
你可以在 Codex 的 Plugins 页面搜索现成插件。安装前先打开插件详情页,核实它包含哪些 Skill、连接器与工具接口;涉及第三方账号登录时,仔细检查授权页列出的读写权限范围。
Codex 的 Plugins 页面
图解:Codex 的 Plugins 页面
若没有现成插件,可在“设置”中打开“MCP servers”并点击“Add server”。本机运行的进程选择 STDIO 模式,远程托管的服务选择 Streamable HTTP 模式。保存并重启后,在输入框键入 /mcp 即可验证服务连接状态。
MCP 的两种常见连接方式
图解:MCP 的两种常见连接方式(STDIO 本地进程与 Streamable HTTP 远程服务)
由于 MCP 直接关联真实账号与本地文件,不要随意粘贴来历不明的第三方服务地址,接入前务必核实源码或提供方身份。本项目的文献整理仅依赖本地目录与公开 PubMed 接口,无需额外配置 MCP。
6将跑通的流程封装为可复用的 Skill
当上述流程稳定跑过几批文献后,就可以将它保存为专属 Skill。后续更换研究课题时,无需重新说明表格字段、去重规则和核查步骤。新建一个任务,输入 $skill-creator 并发送以下指令:
步骤 6:封装为可复用 Skill
| 1 | 请把当前项目已经跑通的论文资料整理方法做成一个 Skill。 |
| 2 | |
| 3 | 它需要完成: |
| 4 | 1. 检查“原始资料”中的文件; |
| 5 | 2. 整理题目、作者、年份、研究对象、主要结论和来源; |
| 6 | 3. 按 PMID 和 DOI 合并重复项; |
| 7 | 4. 缺少书目信息时调用项目里的 PubMed 工具; |
| 8 | 5. 生成论文索引和待确认清单; |
| 9 | 6. 交付前重新打开结果,检查遗漏、重复和失效链接。 |
| 10 | |
| 11 | 项目边界继续遵守 AGENTS.md。 |
| 12 | |
| 13 | 先生成 Skill 草稿,等我确认后再保存。 |
Skill 可以在新任务中再次调用
图解:封装后的 Skill 可在任意新任务中直接调用
Skill 保存完成后,开启一个新任务,在输入框键入 $ 选中刚创建的论文整理 Skill。接着往“原始资料”放入新一批文献,只需输入本次研究问题即可运行:
步骤 7:日常调用已封装的 Skill
| 1 | 整理“原始资料”中的本批文件。 |
| 2 | |
| 3 | 研究问题:睡眠时长与高血压之间有哪些公开研究线索? |
| 4 | |
| 5 | 完成后在“整理结果”中留下论文索引和待确认清单。 |
只要新任务能够自动读取 AGENTS.md,按固定表头提取材料,遇到缺项时调用 PubMed 脚本补全,并将核对后的表格输出到“整理结果”目录,这套个人科研整理 Agent 就正式成型了。
下次更换研究课题时,替换“原始资料”文件夹中的文献并输入新问题即可。表格整理、书目补全和重复项排查交给 Codex 执行;文献质量评估与学术结论采信则继续由研究者本人把关。
至此,你已经跑通了目录隔离、自定义检索工具和 AGENTS.md 规则约束,并完成了 Skill 封装复用。
Miles Ma
Miles Ma(@miles_mazy)
从大厂转型 FDE 的 AI 算法工程师,从事过算法研发、推理部署优化、企业培训与智能体工程落地,日常在 X 分享大模型架构、Agent 工程实践与知识库搭建经验。
Miles Ma 专栏插图
核心要点速查:从单轮问答到工程交付
以下四张卡片汇总了本文涉及的架构组件、搭建顺序与安全边界约束:
- 形态对比:生成回答与交付任务
- LLM(聊天模型):基于 Token 概率预测的文本生成器,输出对话框内的文字建议。
- Agent(智能体):由决策模型、工作环境(文件、终端和 API)与反馈循环(ReAct)组成,直接交付验证后的本地文件。
- 核心价值:进入本地目录与业务软件,替你跑完从读取、处理到核对的完整任务流程。
- 智能体 Harness 四层结构
- Brain(决策模型):大语言模型负责理解需求并规划下一步动作。
- Tools 与 MCP(外部工具):通过 API 与统一 MCP 协议获取实时外部数据。
- Agent Loop(执行循环):执行一步后检查返回结果,遇到报错自动重试修正,直至满足验收条件。
- Sandbox 与 Workspace(安全工作区):将文件读写限制在独立项目文件夹内,防止越权修改系统文件。
- 搭建项目的三步顺序
- 第一步:跑通最小本地流程:先不接外部插件,用本地 3~5 份样本文件验证提取与表格输出格式。
- 第二步:按需补充检索工具:遇到缺失字段(如文献号、天气或汇率)时,再编写专用检索脚本或接入 MCP。
- 第三步:固定规则与操作步骤:把禁止事项写进
AGENTS.md,把验证可行的流程封装为可复用的$skill。
- 数据准确性与安全约束
- 缺失信息显式留空:原文缺少的事实统一标记为“待确认”,禁止模型自行猜测补全。
- 原始资料只读隔离:严禁修改或覆盖输入目录中的原文件,所有产物写入独立输出目录并支持 Diff 对比。
- 明确交付自检清单:规定具体的验收条件(如重复项合并、链接有效性与空字段核查),防止循环提前退出或陷入死循环。
下一步动手建议:在电脑上新建一个空白测试目录,放入 3~5 份日常处理的公开文档,复制第 08 节的 Plan 模式指令跑通第一个本地整理任务。
觉得本文有启发?一键复制标准引用摘要
自带原文归因链接与核心摘要,可直接粘贴至团队飞书/Slack 知识库、技术周报或大模型上下文。