llms.txt:它能做什么、不能做什么,以及值不值得做

2026 年 10 月 5 日 · 阅读约 6 分钟 · SNMRush 编辑团队 · 常见问题

一座黄色灯塔将光芒洒向由层叠卡片构成的绿色大地,宛如一张为 AI 爬虫准备的地图

llms.txt 是一种提议中的纯文本 Markdown 文件,放在网站根目录下,为大语言模型提供网站的简短精选摘要,以及指向最有用页面的链接。添加它的成本很低,对会读取它的 AI 工具也可能有帮助,但目前没有任何主流 AI 搜索引擎确认它是排名或引用信号。

llms.txt 究竟是什么?

这个想法很简单。网页是为浏览器构建的:导航、Cookie 横幅、脚本、页脚。一个试图理解您业务的语言模型必须在这些内容中层层挖掘。2024 年发布的 llms.txt 提议建议在 /llms.txt 放置一个用 Markdown 编写的文件,实际上就是在说:“这是我们的介绍,这些是值得阅读的页面。”有些版本还会指向关键页面的干净 Markdown 副本;而一个配套的想法 llms-full.txt,则把文档全文打包进一个文件。

有必要准确说明它的地位。llms.txt 是一项社区提议,而不是网络标准,也不同于 robots.txt。robots.txt 告诉爬虫可以抓取什么、不可以抓取什么;llms.txt 既不授权也不屏蔽任何东西,它只是一份阅读指南。

ChatGPT、Gemini、Perplexity 或 Google AI Overviews 会使用它吗?

大多数相关文章都在这一点上言过其实,所以我们会谨慎表述。截至撰写本文时,没有任何主流 AI 搜索产品公开表示 llms.txt 会影响其引用哪些来源。Google 表示其 AI 功能依赖常规的搜索索引和排名系统,其代表也对这个文件持怀疑态度。多位网站所有者的服务器日志显示,llms.txt 偶尔会被抓取,但被抓取并不能证明它被用于生成答案。

llms.txt 明确有价值的地方,是那些被指示使用它的工具:开发者助手、编程智能体和文档平台,它们会加载项目的 llms.txt,让模型能基于准确、最新的文档工作。如果您的受众包括开发者,仅凭这一点就值得投入。

SNMRush 的观点是:把 llms.txt 视为良好的日常整理,而不是提升可见度的杠杆。它只需一小时,能迫使您把事情理清楚,但救不了单薄的内容。

如何写好 llms.txt?

提议中的结构很简短:一个写有网站或品牌名称的 H1,一段放在引用块中的摘要,可选的备注,然后是若干 H2 小节,每个小节包含一组链接,每个链接配一行说明。名为“Optional”的小节可以放置在上下文有限时模型可以跳过的链接。

以一家虚构的会计软件公司为例,其大纲可能如下:

  • 标题:品牌名称,与您希望被称呼的方式完全一致。
  • 摘要:用两句话说明产品是什么、服务谁、在哪里运营。把它写成您希望助手给出的答案。
  • 核心页面:产品概览、定价、三篇最重要的帮助文章、安全与合规。
  • 解释类文章:回答受众最常见问题的指南。
  • 可选:公司历史、新闻、招聘。

摘要段落是最重要的部分,它与我们建议在每个页面上设置的答案区块是同一种功夫。如果您无法用两句平实、基于事实的话描述您的公司,AI 系统同样会感到吃力。我们的答案优先写作指南深入介绍了这项技能。

应该收录哪些页面?

选择那些回答真实问题的页面,而不是您最想推销的页面。这正是受众研究发挥价值的地方。在 SNMRush,我们使用 AI 受众研究平台 SOMIN,查看人们在公开对话中针对某个品类提出了哪些问题和冲突点,再检查网站是否为每个问题都准备了清晰的页面。回答这些问题的页面放进 llms.txt;缺口则列入内容计划。如果您想了解这些研究如何更广泛地为策略提供依据,SOMIN 策略概述介绍了这一方法。

一份简短的筛选清单:

  1. 页面是否在第一段就清楚回答了一个问题?
  2. 页面是否是最新的,价格、功能和日期是否准确?
  3. 页面是否无需登录、脚本或插页广告即可访问?
  4. 如果助手逐字引用它,您会满意吗?
  5. 它是否是网站上针对该问题的唯一最佳页面,而不是五个相互重叠的页面之一?

定义:llms.txt 及其相关文件

  • robots.txt:一项由来已久的标准,告诉爬虫可以抓取哪些路径。您可以在这里允许或屏蔽 GPTBot 或 Google-Extended 等 AI 爬虫。
  • sitemap.xml:一份供搜索引擎发现网址的机器可读网址列表。
  • llms.txt:一份提议中的、人类可读的 Markdown 指南,为语言模型介绍您最有用的内容。
  • llms-full.txt:一份提议中的配套文件,包含全文内容,主要用于文档。

什么比 llms.txt 更重要?

如果您只有一周时间,先把精力花在别处。大多数会浏览网络的 AI 答案引擎都以搜索索引为依据,因此可抓取性、索引和排名仍是基础。其次是内容本身:直接的答案、具体的事实、诚实的比较。然后是结构化数据和一致的实体信息,它们帮助机器理解您是谁。最后是可信第三方网站上的提及,它们影响助手如何描述您。

这个顺序也能很好地破除“一个文件或一个标签就能赢得 AI 可见度”的迷思。我们的姊妹工作室 GPT5 Marketing 所讨论的推理模型越来越擅长权衡来源;它们奖励实质内容,而且很难被糊弄。

如何检查它是否有效?

在归因上要保持谦虚。检查服务器日志中对 /llms.txt 的请求,并记下用户代理。保持一组固定的提示词,追踪修改前后 AI 工具是否引用您,但要预料到任何效果都会与您正在做的其他工作混在一起。KPI Media 案例研究中的代理商展示了以证据而非假设为决策依据的价值,同样的原则也适用于此:要衡量,不要假设。

我们的结论很直接。如果您有文档、有开发者受众,或者只是想为机器准备一份整洁的网站摘要,就添加 llms.txt。用心写好摘要段落。然后回到那些已知重要的工作上:比任何人都更好地回答受众真正提出的问题。

如果您希望就自己的设置听取第二意见,SNMRush 在每次 AI 可见度审计中都包含 llms.txt 审查,同时检查爬虫访问、schema 和引用追踪。

常见问题

AI 搜索可见度必须要有 llms.txt 吗?

不是必须的。它是一项可选的提议,没有任何主流 AI 搜索引擎确认它是引用或排名信号。可抓取性、优质内容和可信的提及要重要得多。

llms.txt 能屏蔽 AI 爬虫吗?

不能。llms.txt 是一份阅读指南。要允许或屏蔽特定的 AI 爬虫,请针对其公布的用户代理使用 robots.txt 规则。

llms.txt 应该放在哪里?

放在您域名的根目录下,例如 https://example.com/llms.txt,用 Markdown 编写,包含一个 H1、一段简短摘要和若干链接列表。

获取 AI 可见度审计

SNMRush 是一家面向答案时代的可见度机构。我们从受众真正提出的问题出发,打造既能在搜索引擎中获得排名、又能被 AI 助手引用的内容。

发送邮件至 ask@snmrush.com →