llms.txt 标准与规范手册
2026-11-05Anthropic / Vercel约 2 分钟阅读
文献归档与全文阅读 • 本地全文存档
llms.txt 标准与设计规范手册:大模型时代的 robots.txt
llms.txt 是由 Jeremy Howard 等工程师发起的文本标准,已被全球数十万个站点采用。它向大模型和自主 Agent 说明站点定位、目录结构与核心 Markdown 文档路径。
一、为什么需要 llms.txt
传统 HTML 页面混杂大量样式、导航和广告代码。AI 爬虫直接抓取原始网页会占用过多上下文窗口(Context Window),还容易引入无关噪声。llms.txt 用精简的 Markdown 列表梳理站点结构与纯文本链接,方便大模型直接读取核心信息。
二、llms.txt 文件结构规范
合规的 llms.txt 文件应放在站点根目录(即 yoursite.com/llms.txt),并按以下顺序组织内容:
- H1 标题(必需):项目或站点名称(如
# FastHTML)。 - 引用块(必需):紧随其后的
> 摘要说明,用一两句话概括项目的核心用途。 - 正文导语(可选):补充项目边界、注意事项或给大模型的解析提示。
- H2 分类与文档列表:使用
## Section Name划分版块,并用 Markdown 列表声明核心文档 URL:
- 超链接格式为
- [Link title](URL) - URL 后可加半角冒号补充说明,如
: 简要细节描述
- 可选版块(Optional):使用
## Optional标记次要或低优先级文档,AI 在上下文预算紧张时可自动跳过该部分。
三、llms.txt 代码实例
TEXT16 行
| 1 | # FastHTML |
| 2 | |
| 3 | > FastHTML is a Python library for creating server-rendered hypermedia applications. |
| 4 | |
| 5 | Important notes for LLMs: |
| 6 | - FastHTML uses HTMX for front-end rendering. |
| 7 | - React and Vue components are not supported natively. |
| 8 | |
| 9 | ## Docs |
| 10 | |
| 11 | - [FastHTML Quick Start](https://fastht.ml/docs/quickstart.html.md): A brief overview of many features. |
| 12 | - [HTMX Reference](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): HTMX core parameters. |
| 13 | |
| 14 | ## Optional |
| 15 | |
| 16 | - [Starlette Full Documentation](https://fastht.ml/docs/starlette-details.md): Starlette parameters subset. |
四、配套 .md 静态副本约定
规范建议网站为现有 HTML 页面同步提供纯 Markdown 静态副本。爬虫在原 HTML URL 末尾追加 .md 即可拉取(如 /docs/intro.html 对应 /docs/intro.html.md),可将传输体积缩减 80% 以上。
前沿文献
觉得本文有启发?一键复制标准引用摘要
自带原文归因链接与核心摘要,可直接粘贴至团队飞书/Slack 知识库、技术周报或大模型上下文。