搜索引擎、AI 问答引擎、RSS 阅读器、商品目录及链接预览系统可以通过 HTML、结构化数据、feeds、sitemap 和 llms.txt 发现相同的公开目录事实。

爬虫访问不会获得特殊的排名内容：公开的 HTML、结构化数据、feeds、sitemap 和 llms.txt 所描述的商品、政策和教学资源与展示给用户的内容一致。

可检索的文件

  • Sitemap 索引: /sitemap-index.xml
  • Robots 政策: /robots.txt
  • AI 可读地图: /llms.txt
  • 商品 feeds: /feeds/products.json, /feeds/products.xml, /feeds/products.csv
  • 指南 feeds: /feeds/articles.xml, /feeds/articles.json