《llms.txt 标准与规范手册》

llms.txt 标准与设计规范手册：大模型时代的 robots.txt

llms.txt 是由 Jeremy Howard 等技术专家发起并被全球数十万网站迅速接纳的文本标准。它用于告知大模型和自主 Agent 站点的基本介绍、结构导航、以及最核心的 Markdown 文件路径。

一、 为什么需要 llms.txt

传统 HTML 充斥着样式、导航、广告等噪余，如果让 AI 爬虫直接抓取，会严重浪费其 Context Window，甚至导致信息污染。llms.txt 文件通过极简的 Markdown 格式，把站点的结构和纯文本链接整齐呈献给 LLM，帮助其建立最干净的工作环境。

二、 llms.txt 规范定义的物理层级

一个合规的 llms.txt 文件应当放置于站点的根目录（即 yoursite.com/llms.txt）。该文件内容必须遵循如下顺序：

1. H1 标题（必需）： 项目或站点名称（例如 # FastHTML）。
2. 引用块（必需）： 紧随其后的 > 引用描述，包含一行关于项目最核心价值的英文/中文简述。
3. 导语（可选）： 解释该项目的边界、注意事项或对 LLM 的关键提示。
4. 核心 H2 部分及列表： 使用 ## Section Name 划定版块，并使用 markdown 列表声明关键文档 URL：
   • 超链接格式必须为 - [Link title](URL)
   • URL 后面可以跟 : 补充细节描述
5. 可选版块（Special Section）： 使用 ## Optional 标记次要或低优先级的文档。AI 在上下文紧张时可以自动跳过这部分。

三、 llms.txt 代码实例

# FastHTML

> FastHTML is a Python library for creating server-rendered hypermedia applications.

Important notes for LLMs:
- FastHTML uses HTMX for front-end rendering.
- React and Vue components are not supported natively.

## Docs

- [FastHTML Quick Start](https://fastht.ml/docs/quickstart.html.md): A brief overview of many features.
- [HTMX Reference](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): HTMX core parameters.

## Optional

- [Starlette Full Documentation](https://fastht.ml/docs/starlette-details.md): Starlette parameters subset.

四、 二级 Markdown 对照协议

规范鼓励网站为所有已有的 HTML 页面提供纯 Markdown 版本的静态副本。爬虫通过访问 HTML URL 并在其末尾添加 .md 来获取（例如 /docs/intro.html 对应 /docs/intro.html.md），实现 80% 以上的传输体积缩减。