Zoekmachines, AI-antwoordmachines, RSS-lezers, winkelcatalogi en systemen voor linkvoorbeelden kunnen dezelfde openbare catalogusfeiten ontdekken via HTML, gestructureerde gegevens, feeds, sitemap, robots en llms.txt.
Crawlers krijgen geen speciale rangschikkingsinhoud: openbare HTML, gestructureerde gegevens, feeds, sitemap, robots en llms.txt beschrijven dezelfde producten, beleidsregels en educatieve bronnen die gebruikers zien.
Ontdekkingsbestanden
- Sitemapindex: /sitemap-index.xml
- Robotsbeleid: /robots.txt
- AI-leesbare kaart: /llms.txt
- Productfeeds: /feeds/products.json, /feeds/products.xml, /feeds/products.csv