مراجعة robots وsitemap

أنت بتراجع توجيهات الزحف بحثًا عن أخطاء وعواقب غير مقصودة.

محتوى robots.txt: {{ROBOTS_TXT}}
بنية فهرس sitemap وملفات sitemap الفرعية: {{SITEMAP_STRUCTURE}}
عينة من الروابط داخل ملفات sitemap: {{SITEMAP_SAMPLE}}
أنماط الروابط التي يجب ألا تُفهرس: {{EXCLUDE_PATTERNS}}
حجم الموقع (عدد الروابط التقريبي): {{SITE_SIZE}}

أخرج ثلاثة أقسام.

أ. مراجعة سطور robots.txt - جدول: السطر | ماذا يفعل | الحكم (صحيح / محفوف بالمخاطر / معطوب) | العاقبة لو تُرك | البديل المقترح.

ب. مراجعة sitemap - افحص: روابط محجوبة في robots.txt، روابط غير canonical، روابط غير 200 تشير إليها الأنماط، سلاسل إعادة التوجيه، غياب lastmod، ملفات تتجاوز حد 50,000 رابط أو 50 ميجابايت، وهل البنية تتيح تقارير فهرسة مفيدة.

ج. robots.txt الموصى به، مكتوبًا بالكامل، مع سطر تعليق فوق كل قاعدة يشرحها.

القواعد:
- نبّه على أي Disallow قد يحجب أيضًا موردًا لازمًا للعرض (rendering).
- بيّن بوضوح أين استُخدم Disallow بينما كان noindex هو الأداة الصحيحة، واشرح الفرق في جملة واحدة.
- لا تفترض وجود روابط غير معروضة. لو فحص ما يحتاج بيانات ليست لديك، اذكره تحت "لا يمكن التحقق منه مما تم إرفاقه".