llms.txt是什么？

llms.txt是一个简单的文本文件，它可以帮助人工智能系统和大型语言模型更有效的理解网站内容。需要将其放置在网站根目录下，以指示AI爬虫如何与你的内容交互。其目的是定义你的公开内容是否会成为ChatGPT、claude或Gemini等模型训练数据集的一部分。他不是直接命令，更像是一种建议。

llms.txt文件的结构是怎样的？

llms.txt 文件应采用 Markdown 结构和格式。 Markdown 是一种轻量级标记语言，它使用纯文本格式语法来创建结构化文档。使人工智能能够更快的处理内容。llms.txt 文件中常用的一些 Markdown 元素包括：
1.# 代表 H1 标题，## 代表 H2 标题，### 代表 H3 标题，依此类推。
2.> 用于突出显示重要描述的引用块
3.- 或 * 表示无序列表中的项目符号
4.[text](url) 用于指向您内容的超链接
5.用于在链接旁边添加描述，以帮助解释链接指向的内容。
6.“` 用于分享技术示例时的代码块

llms.txt文件的作用是什么？

llms.txt 旨在帮助您的网站更容易被 LLM 和智能体发现和理解。通过提供预先摘要的文件，您实际上是在告诉 AI 工具您的网站是关于什么的，这在理论上可以带来更好的搜索结果、更精准的对话结果。
llms.txt 文件可以有效地引导 AI 聊天机器人和客服人员朝着正确的方向前进，因为它无需 AI 猜测或从过时的第三方来源获取信息，而是直接提供来自您网站的官方版本。这有助于减少 AI 的“臆测”，并提高客户在向 AI 咨询您的业务或业务类别时获得准确、符合主题的回复的几率。

llms.txt与robots.txt有什么区别？

Robots.txt 和 LLMs.txt 的用途互补但又不同。robots.txt 文件控制着传统搜索引擎爬虫如何访问和索引您的内容。它主要关注搜索引擎优化 (SEO)：包括内容的可发现性、爬取预算以及页面在搜索结果中的显示方式。相比之下，LLMs.txt 文件会影响 AI 模型如何使用您的内容进行训练。这些指令旨在告知模型爬虫是否可以读取、存储和学习您的网页内容。
区别主要如下：
1.不同的爬虫： Googlebot 和 Bingbot 遵循 robots.txt；GPTBot、ClaudeBot 和 Google-Extended 读取 LLMs.txt。

2.不同的结果： robots.txt 影响排名和索引。LLMs.txt 影响您的内容在生成式人工智能系统中的显示方式。

3.风险与回报各不相同： robots.txt 会影响搜索可见性。LLMs.txt 会影响品牌在 AI 生成的答案中的曝光度，以及您对专有内容的控制权。

4.控制级别不同： Robots.txt 是一条 100% 执行的指令，而 LLMS.txt 则不会 100% 执行任何指令。   

是否应该将llms.txt用于SEO?

llms.txt 文件目前并不能直接提升排名。搜索引擎不会将其用于 SEO 目的。然而，它会影响您的内容在搜索结果中的排名，而这一点至关重要。 允许人工智能爬虫抓取内容可以为模型提供更多上下文信息，从而提高您的内容出现在合成答案中的概率。 LLMs.txt 也非常适合与精心设计的LLM 优化工作配合使用。清晰、有力且与上下文相关的结构化内容有助于模型更准确地解读您的材料。LLMs.txt 的作用仅仅是告知模型是否被允许从中学习。虽然现在影响不大，但以后会成为基础。

谁真的需要llms.txt?

1.内容丰富的网站：出版商、教育工作者和文档库通常更喜欢围绕人工智能系统如何重用其内容来构建结构。
2.拥有专有材料的品牌：如果您的收入依赖于高级报告、付费内容或专业数据集，LLMs.txt 可提供必要的保护层。
3.SEO 人员在为 AI 搜索做准备时，随着生成式搜索结果越来越普遍，品牌希望能够控制内容如何推送至这些答案引擎。LLMs.txt 可以帮助设定限制，同时又不影响内容的可见性。
4.医疗保健、金融和法律等行业对合规性有较高要求，因此通常需要制定严格的数据处理规则。屏蔽人工智能爬虫也成为其治理措施的一部分。 

您的网站应该使用llms.txt文件吗？

我认为现在还不是时候，除非你只是好奇想做个实验，否则现在使用 llms.txt 可能不值得你花时间。 llms.txt 目前只是一个提议的标准，而不是主要人工智能公司实际使用的标准。 像 OpenAI、Google 或 Anthropic 这样的 LLM 公司都没有正式表示他们在抓取网站时会跟踪这些文件。