出海数字营销宝典 Logo
出海数字营销宝典evaoo.com

llms.txt 标准与规范手册

2026-11-05Anthropic / Vercel约 2 分钟阅读

文献归档与全文阅读 • 本地全文存档

llms.txt 标准与设计规范手册:大模型时代的 robots.txt

llms.txt 是由 Jeremy Howard 等工程师发起的文本标准,已被全球数十万个站点采用。它向大模型和自主 Agent 说明站点定位、目录结构与核心 Markdown 文档路径。

一、为什么需要 llms.txt

传统 HTML 页面混杂大量样式、导航和广告代码。AI 爬虫直接抓取原始网页会占用过多上下文窗口(Context Window),还容易引入无关噪声。llms.txt 用精简的 Markdown 列表梳理站点结构与纯文本链接,方便大模型直接读取核心信息。

二、llms.txt 文件结构规范

合规的 llms.txt 文件应放在站点根目录(即 yoursite.com/llms.txt),并按以下顺序组织内容:

  1. H1 标题(必需):项目或站点名称(如 # FastHTML)。
  2. 引用块(必需):紧随其后的 > 摘要说明,用一两句话概括项目的核心用途。
  3. 正文导语(可选):补充项目边界、注意事项或给大模型的解析提示。
  4. H2 分类与文档列表:使用 ## Section Name 划分版块,并用 Markdown 列表声明核心文档 URL:
  • 超链接格式为 - [Link title](URL)
  • URL 后可加半角冒号补充说明,如 : 简要细节描述
  1. 可选版块(Optional):使用 ## Optional 标记次要或低优先级文档,AI 在上下文预算紧张时可自动跳过该部分。

三、llms.txt 代码实例

TEXT16 行
1# FastHTML
2
3> FastHTML is a Python library for creating server-rendered hypermedia applications.
4
5Important notes for LLMs:
6- FastHTML uses HTMX for front-end rendering.
7- React and Vue components are not supported natively.
8
9## Docs
10
11- [FastHTML Quick Start](https://fastht.ml/docs/quickstart.html.md): A brief overview of many features.
12- [HTMX Reference](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): HTMX core parameters.
13
14## Optional
15
16- [Starlette Full Documentation](https://fastht.ml/docs/starlette-details.md): Starlette parameters subset.

四、配套 .md 静态副本约定

规范建议网站为现有 HTML 页面同步提供纯 Markdown 静态副本。爬虫在原 HTML URL 末尾追加 .md 即可拉取(如 /docs/intro.html 对应 /docs/intro.html.md),可将传输体积缩减 80% 以上。

← 返回 tw93 GEO 秘密主页 · 进入 GEO 最佳实践列表

前沿文献

觉得本文有启发?一键复制标准引用摘要

自带原文归因链接与核心摘要,可直接粘贴至团队飞书/Slack 知识库、技术周报或大模型上下文。