Buscadores, motores AI, lectores RSS y previews descubren los mismos hechos publicos mediante HTML, datos estructurados, feeds, sitemap, robots y llms.txt.
No hay contenido especial para crawlers: los archivos publicos reflejan lo que ve el usuario.
Archivos de descubrimiento
- Sitemap: /sitemap-index.xml
- Robots: /robots.txt
- Mapa AI: /llms.txt
- Feeds de producto: /feeds/products.json, /feeds/products.xml, /feeds/products.csv