llms.txt 重要吗？2026 年的证据怎么说

如果目标是被搜索引擎和 AI 助手发现或引用，可能不重要。llms.txt 是一个 Markdown 文件，为 AI 智能体列出网站的关键页面。Google 的文档表示 Search 会忽略它，OpenAI、Anthropic 和 Perplexity 的爬虫页面也都没有提到会读取它。是否发布取决于谁来确保它保持准确。

llms.txt 是什么，由谁提出？

llms.txt 是一个纯 Markdown 文件，放在网站根目录或子路径下，为 AI 智能体简要介绍网站内容。Jeremy Howard 于 2024 年 9 月 3 日发布了这项提案 （在新标签页中打开）^[1]。当前页面标注为第 2 版，最后修改于 2026 年 8 月 10 日。

该格式有固定顺序。包含网站或项目名称的 H1 是唯一必需的部分。其后可依次放置可选的引用块摘要、可选的无标题纯文本，以及任意数量包含链接列表的 H2 部分。每个列表项都是一个 Markdown 链接，后面可加冒号和说明。按照惯例，“Optional”部分存放智能体可以跳过的次要链接。

它是内容指南，而不是爬取规则。规范称，llms.txt 信息会“按需使用，即智能体在协助用户时需要某个主题的信息时使用”。规范还补充说，这些文件“主要用于软件文档”，供编码智能体参阅。llms.txt 和 robots.txt 都不能验证访问者身份或保护私密内容：RFC 9309 （在新标签页中打开）^[17] 表示 robots.txt 规则“不是一种访问授权方式”，登录才承担这一职责。

Google 对 llms.txt 怎么说？

Google 给出了直接答复。其 Search 文档更新日志中一条日期为 2026 年 6 月 15 日 （在新标签页中打开）^[2]的记录表示，Google Search“不需要这些文件（它们不会对你的可见度或排名产生负面或正面影响）”。记录还说，为其他服务保留这些文件没有问题。这条说明被加入了 Google 的生成式 AI 功能指南 （在新标签页中打开）^[3]，该指南将 llms.txt 列为可忽略的事项，并表示 Google Search“会忽略它们”。另一份 AI 功能页面 （在新标签页中打开）^[4]写道：“你无需创建新的机器可读文件、AI 文本文件或标记，即可出现在这些功能中。”

这些表述涵盖 Google Search，包括 AI Overviews 和 AI Mode，但没有涉及其他公司的系统。

Google 的其他团队运营着其他产品。Chrome 的 Lighthouse 文档中，智能体浏览审核 （在新标签页中打开）^[5]页面最后更新于 2026 年 5 月 5 日，称 llms.txt 是“一项新兴惯例”，并表示没有该文件时，智能体“可能需要花更多时间爬取网站”。如果获取文件时发生服务器错误，审核会标记该页面；404 则被标为不适用，因为“目前提供该文件是可选的”。Google 自己的 Gemini API 文档 （在新标签页中打开）^[6]也提供 llms.txt。

OpenAI、Anthropic 或 Perplexity 说过会读取它吗？

未找到公开声明。它们的爬虫页面介绍了用户代理和 robots.txt 控制方式，但都没有提到爬虫会读取 llms.txt。

这些页面确实提到了 robots.txt。OpenAI 建议在 robots.txt 中允许 OAI-SearchBot，以及允许来自其公布的 IP 地址段的请求，以便网站出现在 ChatGPT 搜索结果中。Perplexity 对 PerplexityBot 给出了相同建议。Anthropic 表示，禁用 Claude-SearchBot“可能降低你的网站在用户搜索结果中的可见度和准确性”。

如表中链接所示，每家公司都为自己的开发者文档提供 llms.txt，OpenAI 和 Perplexity 的爬虫页面还通过横幅引导读者访问各自的文件。这是它们对自身文档的选择，并不代表其搜索产品会查阅你网站上的文件。Meta 于 2026 年 5 月 21 日更新的爬虫文档 （在新标签页中打开）^[13]也没有提及它。“未找到公开声明”仅限于这些页面，并不能证明没有产品读取该文件。

服务器日志和研究显示了什么？

三项供应商研究与这个问题有关。它们衡量的内容不同，因此这里不合并其数据。

两项日志研究都发现 AI 爬虫对该文件的请求很少。在 EZY 的日志中，GPTBot 家族和 ClaudeBot 各自抓取 robots.txt 数千次，抓取 llms.txt 则各不足十次。这些是 EZY 使用的标签，并不能说明 OpenAI 或 Anthropic 的搜索或助手产品如何运作。在 Ahrefs 的 2026 年 5 月样本中，针对不存在的文件而返回的 404 请求中没有出现 AI 机器人请求，但这并不能证明没有任何 AI 系统检查过该文件。在具名 AI 机器人中，Ahrefs 发现训练爬虫 GPTBot 抓取文件最多，编码智能体 Claude Code 排名第二，超过所有 AI 搜索和助手机器人。Ahrefs 称编码智能体是“我们的数据中最接近预期受众的群体”，这与该提案聚焦文档的方向一致。EZY 发现 Meta 的爬虫抓取 llms.txt 的次数多于 robots.txt，而 Meta 的文档没有描述这一情况。

抓取不等于使用：Ahrefs 称其数据是“实际使用 llms.txt 的上限”。SE Ranking 尝试根据多个因素预测域名在 LLM 回答中被引用的频率，其中一个因素是域名是否拥有该文件；去掉该因素后预测有所改善，因此它认为该文件增加的是噪声而非信号。该研究比较的是现有网站，页面没有说明时间范围、抽样的模型以及文件检测方法。EZY 表示其样本中过多地包含了正在选购 AI 可见度产品的小企业，而 EZY 自己也提供生成 llms.txt 文件的工具。SE Ranking 的 10.13% 和 Ahrefs 的 28% 来自不同样本，因此无法显示趋势。三项研究都没有测试网站添加文件后会发生什么。

发布文件需要付出什么，可能带来什么？

根据上表可以得出一条决策原则。如果你的网站能从已有维护数据生成该文件，例如 Plandora 从页面列表和文章列表生成，维护就是自动的，剩余风险是源列表有误。如果必须由人工编辑，只有在指定人员会在页面迁移、下线或更改时重新检查每个链接的情况下才发布，否则就跳过。两种情况都不是提高可见度的策略，因为上述来源中没有证据表明它目前能带来可见度收益。

什么比 llms.txt 更重要？

以下五项建议检查来自 Google 和各运营方的文档。它们是检查事项，并非已证实的效果：这些来源没有对它们排序，也没有衡量任何一项带来的引用收益。前三项涉及爬虫能否找到并读取页面，后两项涉及读者。

1. 允许合适的爬虫访问。 在 robots.txt 中允许你希望访问的搜索爬虫，例如 Googlebot、OAI-SearchBot、Claude-SearchBot 和 PerplexityBot，并检查防火墙规则是否拦截了它们。Google 的指南建议确保内容可被爬取，OpenAI 和 Perplexity 则建议网站所有者允许其公布的 IP 地址段。AI 爬虫如何读取你的网站介绍了这些检查。
2. 把实质内容放在页面文字中。 Google 可以处理未被阻止的 JavaScript 内容，但其指南表示，JavaScript 框架上的 SEO“通常更复杂”。将主要文字放在页面 HTML 中，而不是藏在脚本后面。
3. 确保网站地图准确。 Google 表示，网站地图 （在新标签页中打开）^[19]会告诉搜索引擎你认为哪些页面重要，也可以包含每个页面的最后更新日期，但它不保证页面会被爬取。只列出你希望被发现的页面，并确保日期真实。
4. 先给出答案，再用清晰的标题组织内容。 Google 表示“你无需专门为了生成式 AI 搜索而采用特定的写作方式”，因此这样做是为了读者。其指南表示，读者喜欢按段落、章节和标题组织的页面，也没有要求为 AI 将内容拆成极小的片段。为人和 AI 写作：先给出答案介绍了具体方法。
5. 显示作者和日期。 Google 关于署名日期 （在新标签页中打开）^[18]的指南要求醒目显示日期，使用“最后更新”等文字标注，并与结构化数据中的 datePublished 和 dateModified 相匹配。页面上也应列出具名作者。

更全面的内容见面向专业服务企业的生成式引擎优化。

llms.txt 文件包含什么？

以下仅为示例：一家虚构陶艺工作室，地址为占位地址。

# 陶艺工作室示例
> 一家用于展示格式的虚构工作室。

课程以六周为一期。

## 课程
- [初级拉坯](https://example.com/classes/beginner): 六周课程，无需经验

## Optional
- [工作室历史](https://example.com/about/history)

包含网站名称的 H1 是唯一必需的行。引用块为首次访问的智能体提供简短摘要，下方任何纯文本都可提供更多细节，且不带标题。每个 H2 开始一个链接列表，每项都是一个链接，后面可加冒号和说明。“Optional”部分存放智能体在不需要太多上下文时可以跳过的次要链接。该提案只定义了 llms.txt，这是一个简短索引，详细内容位于其链接指向的页面。Plandora 的网站代码还生成一个单独的 llms-full.txt，将每篇文章以 Markdown 格式放在同一个文件中。这个文件是 Plandora 自己的选择，不属于该提案。

发布步骤：

1. 选择页面。 只链接到你维护且希望被引用的页面，按照访客的思路用标题分组。
2. 写简明说明。 为每个链接写一行事实说明。Ahrefs 建议文件只包含链接和描述，不要加入任何类似指令的内容。
3. 提供指向文件的链接。 Ahrefs 的结论是，当链接、索引或用户告知 AI 工具该文件存在时，它们会抓取该文件，因此应在页面或文档中引用它。
4. 测试并维护。 规范建议就你的内容向智能体提问，“只给它你的 llms.txt 作为起点”。这样智能体必须跟随你的链接，因此它无法回答的问题可能指向失效或内容不足的链接页面。对文件进行版本控制，限制编辑权限，并在页面变更时进行检查。

Plandora 发布了这个文件吗？

是的。plandora.com 提供的 llms.txt 由网站的公开页面列表和已发布指南生成，因此新指南无需手动编辑就会出现在文件中。网站代码还会生成上文所述的 llms-full.txt。Plandora 自己的编辑标准是不将这两个文件中的任何一个说成提升排名的手段，上述证据也没有理由这样做。