موتور جست‌وجو، موتور پاسخ هوش مصنوعی، خواننده RSS، کاتالوگ خرید و سامانه پیش‌نمایش پیوند می‌توانند همان اطلاعات عمومی کاتالوگ را از HTML، داده ساختاریافته، خوراک، نقشه سایت، robots و llms.txt کشف کنند.

دسترسی خزنده محتوای رتبه‌بندی ویژه دریافت نمی‌کند: HTML عمومی، داده ساختاریافته، خوراک، نقشه سایت، robots و llms.txt همان محصول، سیاست و منابع آموزشی نشان‌داده‌شده به کاربر را توصیف می‌کنند.

فایل‌های کشف محتوا

  • نمایه نقشه‌های سایت: /sitemap-index.xml
  • سیاست robots: /robots.txt
  • نقشهٔ خوانا برای هوش مصنوعی: /llms.txt
  • خوراک‌های محصولات: /feeds/products.json, /feeds/products.xml, /feeds/products.csv