技术实现
llms.txt 和 Markdown:工具便利性与排名说法分开看
一个文件可以方便工具读站点,但“方便读取”不等于“获得排名”。
先讲人话:它更像导览,不是通行证
llms.txt 是一项社区提案,目标是在站点根路径提供简洁 Markdown 导览,帮助 LLM 或 Agent 在推理时找到重要资料。典型内容包括项目名、摘要和重点文档链接。llms.txt proposal
Google 当前公开指南明确表示,其生成式搜索不需要 llms.txt、专用 AI 文本文件或特殊 Markdown。因此不能把它宣传为 Google 排名或引用条件。
一个文件可以方便工具读站点,但“方便读取”不等于“获得排名”。
一、区分三个文件
| 文件 | 主要用途 |
|---|---|
| robots.txt | 表达自动爬虫的抓取规则 |
| sitemap.xml | 列出希望搜索系统发现的规范 URL |
| llms.txt | 社区提议的重点内容导览 |
llms.txt 不能覆盖 robots.txt,也不能替代 Sitemap、HTML、权限或产品文档。
二、什么时候值得做
- 大型 API 文档或知识库;
- 自家 Agent 明确会读取该文件;
- 合作方约定使用它作为上下文入口;
- 希望提供简洁的人工与机器导览;
- 团队有负责人持续维护。
页面很少、信息架构混乱、正文不可访问时,优先修基础问题。
三、最小示例
# Example AI
> 面向独立开发者的 AI SaaS 构建工具。
## 核心资料
- [产品概览](https://example.com/product): 能力、用户与限制。
- [定价](https://example.com/pricing): 当前套餐、周期与额度。
- [开发文档](https://example.com/docs): 部署、导出与集成。
## Optional
- [更新日志](https://example.com/changelog): 产品版本变化。四、内容一致性比文件存在更重要
检查:
- 链接使用规范 URL;
- 摘要与官网定位一致;
- 不包含草稿、后台和私密资料;
- 价格与限制不复制成容易过期的第二事实源;
- 删除页面及时移除;
- 多语言路径清楚,不混合语言。
五、Markdown 镜像的边界
Markdown 版本可以方便开发工具和 Agent,但会带来:
- HTML 与 Markdown 内容漂移;
- 两个 URL 竞争或被误认为重复页面;
- 草稿和内部注释意外公开;
- 缺少图片、表格或交互上下文。
如果发布镜像,要定义 canonical、索引策略、生成来源和同步测试。
六、如何验证真实价值
/llms.txt是否返回 200;- 链接是否有效并指向当前资料;
- 已知内部工具是否真的读取;
- 服务器日志是否出现访问;
- 读取后能否准确回答产品定位和文档路径;
- 是否降低了内部 Agent 的检索成本。
日志中没有访问时,不要声称外部模型已采用它。
七、常见误区
- “没有 llms.txt 就不会被 ChatGPT 看见”;
- “Google 官方支持 llms.txt 排名”;
- 把所有页面和全文塞进一个巨大文件;
- 文件与真实站点长期不同步;
- 用 llms.txt 暴露内部或付费内容;
- HTML 有问题,却把时间全部花在 Markdown 镜像。
本文行动清单
- 已确认真实读取场景和维护负责人。
- llms.txt 只列少量重要规范页面。
- 内容与官网事实一致。
- 不含草稿、私密或受限资料。
- Markdown 镜像有明确同步与索引策略。
- 通过日志或内部工具验证是否被使用。
- 没有将其宣传为排名保证。
小结
llms.txt 可以是有用的工程导览,但当前不应被包装成普遍适用的 GEO 必需项。
先服务明确的读取者,再决定是否维护一个新文件。
最后更新于