Suchmaschinen, AI-Antwortsysteme, RSS-Reader und Vorschauen finden dieselben oeffentlichen Fakten ueber HTML, strukturierte Daten, Feeds, Sitemap, Robots und llms.txt.
Crawler erhalten keinen Sonderinhalt; die Dateien spiegeln den sichtbaren Inhalt.
Discovery-Dateien
- Sitemap: /sitemap-index.xml
- Robots: /robots.txt
- AI-Karte: /llms.txt
- Produktfeeds: /feeds/products.json, /feeds/products.xml, /feeds/products.csv