AIEO
技术实现

llms.txt 和 Markdown:工具便利性与排名说法分开看

一个文件可以方便工具读站点,但“方便读取”不等于“获得排名”。

先讲人话:它更像导览,不是通行证

llms.txt 是一项社区提案,目标是在站点根路径提供简洁 Markdown 导览,帮助 LLM 或 Agent 在推理时找到重要资料。典型内容包括项目名、摘要和重点文档链接。llms.txt proposal

Google 当前公开指南明确表示,其生成式搜索不需要 llms.txt、专用 AI 文本文件或特殊 Markdown。因此不能把它宣传为 Google 排名或引用条件。

一个文件可以方便工具读站点,但“方便读取”不等于“获得排名”。

一、区分三个文件

文件主要用途
robots.txt表达自动爬虫的抓取规则
sitemap.xml列出希望搜索系统发现的规范 URL
llms.txt社区提议的重点内容导览

llms.txt 不能覆盖 robots.txt,也不能替代 Sitemap、HTML、权限或产品文档。

二、什么时候值得做

  • 大型 API 文档或知识库;
  • 自家 Agent 明确会读取该文件;
  • 合作方约定使用它作为上下文入口;
  • 希望提供简洁的人工与机器导览;
  • 团队有负责人持续维护。

页面很少、信息架构混乱、正文不可访问时,优先修基础问题。

三、最小示例

# Example AI

> 面向独立开发者的 AI SaaS 构建工具。

## 核心资料

- [产品概览](https://example.com/product): 能力、用户与限制。
- [定价](https://example.com/pricing): 当前套餐、周期与额度。
- [开发文档](https://example.com/docs): 部署、导出与集成。

## Optional

- [更新日志](https://example.com/changelog): 产品版本变化。

四、内容一致性比文件存在更重要

检查:

  • 链接使用规范 URL;
  • 摘要与官网定位一致;
  • 不包含草稿、后台和私密资料;
  • 价格与限制不复制成容易过期的第二事实源;
  • 删除页面及时移除;
  • 多语言路径清楚,不混合语言。

五、Markdown 镜像的边界

Markdown 版本可以方便开发工具和 Agent,但会带来:

  • HTML 与 Markdown 内容漂移;
  • 两个 URL 竞争或被误认为重复页面;
  • 草稿和内部注释意外公开;
  • 缺少图片、表格或交互上下文。

如果发布镜像,要定义 canonical、索引策略、生成来源和同步测试。

六、如何验证真实价值

  1. /llms.txt 是否返回 200;
  2. 链接是否有效并指向当前资料;
  3. 已知内部工具是否真的读取;
  4. 服务器日志是否出现访问;
  5. 读取后能否准确回答产品定位和文档路径;
  6. 是否降低了内部 Agent 的检索成本。

日志中没有访问时,不要声称外部模型已采用它。

七、常见误区

  • “没有 llms.txt 就不会被 ChatGPT 看见”;
  • “Google 官方支持 llms.txt 排名”;
  • 把所有页面和全文塞进一个巨大文件;
  • 文件与真实站点长期不同步;
  • 用 llms.txt 暴露内部或付费内容;
  • HTML 有问题,却把时间全部花在 Markdown 镜像。

本文行动清单

  • 已确认真实读取场景和维护负责人。
  • llms.txt 只列少量重要规范页面。
  • 内容与官网事实一致。
  • 不含草稿、私密或受限资料。
  • Markdown 镜像有明确同步与索引策略。
  • 通过日志或内部工具验证是否被使用。
  • 没有将其宣传为排名保证。

小结

llms.txt 可以是有用的工程导览,但当前不应被包装成普遍适用的 GEO 必需项。

先服务明确的读取者,再决定是否维护一个新文件。

最后更新于

本页目录