Mesin pencari, mesin jawaban AI, pembaca RSS, katalog belanja, dan pratinjau tautan dapat menemukan fakta katalog publik yang sama melalui HTML, data terstruktur, feed, sitemap, robots, dan llms.txt.
Crawler tidak menerima konten peringkat khusus: HTML publik, data terstruktur, feed, sitemap, robots, dan llms.txt menjelaskan produk, kebijakan, dan sumber pendidikan yang sama dengan yang dilihat pengguna.
Berkas penemuan
- Indeks peta situs: /sitemap-index.xml
- Kebijakan robot: /robots.txt
- Peta yang dapat dibaca AI: /llms.txt
- Feed produk: /feeds/products.json, /feeds/products.xml, /feeds/products.csv