谷歌SEO：LLMs.txt是什么?你应该关心它吗？AI时代不可忽视的“新交通规则”

开发人员和营销人员被告知在他们的网站上添加llms.txt文件，以帮助大型语言模型（LLMs）“理解”其内容。但是，llms.txt到底是什么，谁在使用它，更重要的是，你应该关心它吗？

llms.txt是什么？

llms.txt是一个建议的标准，用于帮助LLMs访问和解释来自网站的结构化内容。您可以在llmstext.org上阅读完整的提案。简而言之，它是一个文本文件，旨在告诉LLMs在哪里可以找到好东西：API文档、退货政策、产品分类以及其他丰富的上下文资源。目标是通过给语言模型一张精心设计的高价值内容地图来消除歧义，这样它们就不必猜测什么重要了。

理论上，这听起来是个好主意。我们已经使用像robots.txt和sitemap.xml这样的文件来帮助搜索引擎了解网站上有什么以及在哪里查找。为什么不将相同的逻辑应用于LLMs？但重要的是，目前没有主要的LLM提供商支持llms.txt。不是OpenAI。不是人类。不是谷歌。

正如在介绍中所说的，llms.txt是一个提议的标准。我们也可以提出一个标准（我们称之为请发送给我交通机器人主宰者.txt），但除非主要的LLM提供者同意使用它，否则这几乎没有意义。这就是我们对llms.txt的看法:它是一个没有得到官方采纳的推测性想法。llms.txt可能不会影响您的在线可见性，但robots.txt肯定会。

llms.txt 示例

您可以在几分钟内制作自己的llms.txt:

• 从一个基本的减价文件开始

• 使用H2按类型对资源进行分组

• 链接到结构化、标价友好的内容

• 保持更新

• 将其托管在您的根域名上:https://yourdomain.com/llms.txt

你可以自己创建它，或者使用一个免费的llms.txt生成器为你制作它。我们了解到到一些开发人员也在他们的llms.txt文件中尝试使用LLM特定的元数据，比如令牌预算或首选文件格式（但没有证据表明这受到爬虫或LLM模型的尊重）。

谁在用它（如果有人的话）？

您可以在directory.llmstxt.cloud上查看使用llms.txt的公司列表，这是一个由社区维护的公共llms.txt文件索引。

下面是几个例子:

Mintlify: 开发者文档平台

Tinybird: 实时数据API

Cloudflare: 列出性能和安全性文档

Anthropic：发布其API文档的完整Markdown地图

但是大玩家呢？

到目前为止，没有主要的LLM提供商正式采用llms.txt作为其爬虫协议的一部分：

• OpenAI （GPTBot）:尊重robots.txt，但不正式使用llms.txt

• Anthropic（Claude）:发布自己的llms.txt，但没有说明其爬虫使用标准

• 谷歌:使用robots.txt（通过User-agent: Google-Extended）来管理AI爬行的行为，没有提到llms.txt支持

• Meta（LLaMA）:没有公共爬虫或指南，也没有llms.txt的使用说明

这突显了一个重要的观点:创建llms.txt并不等于在爬虫行为中强制执行它。目前，大多数LLM厂商将llms。txt视为一个有趣的想法，而不是他们同意优先考虑和遵循的东西。

那么llms.txt真的有用吗？

没有证据表明llms.txt可以提高AI检索、增加流量或提高模型准确性，也没有提供商承诺解析它。

但它也非常容易设置。如果你已经有了像产品页面或开发人员文档这样的结构化内容，编译一个llms.txt是微不足道的。它是一个Markdown文件，托管在你自己的网站上。可能没有观察到的好处，但也没有风险。如果 LLMs 最终将其作为标准，早期采用可能会有一些小优势。

在AI重塑信息生态的关键时刻，LLMs.txt不仅是技术协议，更是数字时代的内容主权宣言。早一步布局，就能在即将到来的AI数据经济中占据制高点。您的网站，准备好迎接这场静默革命了吗？

llms.txt是什么