موتور جستوجو، موتور پاسخ هوش مصنوعی، خواننده RSS، کاتالوگ خرید و سامانه پیشنمایش پیوند میتوانند همان اطلاعات عمومی کاتالوگ را از HTML، داده ساختاریافته، خوراک، نقشه سایت، robots و llms.txt کشف کنند.
دسترسی خزنده محتوای رتبهبندی ویژه دریافت نمیکند: HTML عمومی، داده ساختاریافته، خوراک، نقشه سایت، robots و llms.txt همان محصول، سیاست و منابع آموزشی نشاندادهشده به کاربر را توصیف میکنند.
فایلهای کشف محتوا
- نمایه نقشههای سایت: /sitemap-index.xml
- سیاست robots: /robots.txt
- نقشهٔ خوانا برای هوش مصنوعی: /llms.txt
- خوراکهای محصولات: /feeds/products.json, /feeds/products.xml, /feeds/products.csv