تدقيق التوجيهات في ترويسات HTTP

معظم المراجعات التقنية تقرأ الـ HTML، لكن عدة توجيهات تسكن في ترويسات الاستجابة بدلًا منه، حيث تستطيع طبقة الحافة إضافتها أو إزالتها أو تجاوزها دون أي تغيير في التطبيق ودون أثر في مصدر الصفحة. الترويسات أيضًا هي السبيل الوحيد للتحكم في فهرسة ملفات لا يوجد فيها عنصر head أصلًا: ملفات PDF والصور وتصديرات CSV واستجابات الـ API. شغّل هذا كلما قال التطبيق شيئًا وأظهر الفهرس شيئًا آخر.

ملف المهارة

---
name: http-header-directive-audit
description: استخدمها عندما تبدو التوجيهات متجاهَلة، أو حين تظهر ملفات PDF أو ملفات أخرى غير HTML في نتائج البحث، أو كلما وُجد CDN أو edge worker أو خادم وكيل عكسي بين التطبيق والزاحف.
---

# تدقيق التوجيهات في ترويسات HTTP

معظم المراجعات التقنية تقرأ الـ HTML، لكن عدة توجيهات تسكن في ترويسات الاستجابة بدلًا منه، حيث تستطيع طبقة الحافة إضافتها أو إزالتها أو تجاوزها دون أي تغيير في التطبيق ودون أثر في مصدر الصفحة. الترويسات أيضًا هي السبيل الوحيد للتحكم في فهرسة ملفات لا يوجد فيها عنصر head أصلًا: ملفات PDF والصور وتصديرات CSV واستجابات الـ API. شغّل هذا كلما قال التطبيق شيئًا وأظهر الفهرس شيئًا آخر.

## ما تحتاجه أولًا

- القدرة على طلب الروابط وقراءة ترويسات الاستجابة الخام من خارج شبكتك، لأن الطلب الداخلي قد يتجاوز الـ CDN تمامًا
- جرد بالروابط غير HTML المتاحة للعامة: المستندات والتنزيلات والوسائط والتصديرات ونقاط نهاية الـ API
- إعدادات الـ CDN أو الحافة شاملةً قواعد الصفحات والـ workers والقواعد الجغرافية وأي منتج أمني في المسار
- تصدير زحف يعلّم الروابط غير HTML القابلة للفهرسة

## الطريقة

1. اطلب رابطًا واحدًا عن كل نوع محتوى، الترويسات فقط، من خارج شبكتك ودون كوكيز. عنوان IP المكتب أو VPN أو تجاوز مخصص لبيئة الاختبار يعيد ترويسات لن يستلمها أي زاحف أبدًا.
2. ابحث تحديدًا عن X-Robots-Tag وعن ترويسة Link rel=canonical. كلاهما معتمد، وكلاهما غير مرئي في مصدر الصفحة، وكلاهما يُضبط عادةً مرة واحدة على يد مطور ولا يُراجَع بعدها.
3. احسم كل تعارض بين الترويسة والـ HTML. حين يلتقي noindex في الترويسة مع وسم index في الـ HTML يفوز الأشد تقييدًا، والترويسة هي ما لا يفكر أحد في فحصه.
4. اعمل على جرد الملفات غير HTML. ملف PDF يكرر صفحة، وتصدير قديم، ووسائط من بيئة الاختبار: كلها قابلة للفهرسة افتراضيًا، والترويسة هي الطريقة الوحيدة لاستبعادها مع إبقائها قابلة للزحف.
5. تأكد أن robots.txt يُقدَّم من الخادم الأصلي الذي تظنه. قد يقدّم الـ CDN أو منصة الاستضافة أو منتج أمني نسخته الخاصة، وأي خطأ 5xx على robots.txt يوقف الزحف إلى المضيف كله لا إلى ذلك الملف وحده.
6. كرر الطلبات من منطقة أخرى وبـ user agent للجوال. عمليات إعادة التوجيه والحظر حسب الدولة تُظهر للزاحف موقعًا مختلفًا عن الموقع الذي تدققه، لأن Googlebot يزحف في الغالب من عناوين في الولايات المتحدة.
7. افحص ترويسات Vary والتخزين المؤقت حيثما اختلفت الاستجابة حسب الـ user agent أو الجهاز، وتأكد أن الحافة لا تخزّن استجابة جمهور وتقدّمها لجمهور آخر.

## ما الذي تنتجه

خريطة ترويسات لكل نوع محتوى ولكل قاعدة على الحافة، تسرد كل توجيه مُرسل، والطبقة التي ضبطته، وكيف حُسم كل تعارض بين الترويسة والـ HTML.

## أين تخطئ عادةً

- التدقيق عبر أدوات مطوري المتصفح وكوكيز جلستك مرفقة، فتقرأ نسخة المستخدم المسجّل بدل نسخة الزاحف
- تطبيق X-Robots-Tag بـ noindex على مجلد كامل فتُصاب معه صفحات كان مقصودًا لها أن تتصدر
- افتراض أن robots.txt تحت سيطرتك بينما تقدّم المنصة أو الطبقة الأمنية نسختها الخاصة
- حظر ملف PDF في robots.txt وانتظار خروجه من الفهرس، بينما يجب أن يبقى الملف قابلًا للزحف حتى تُقرأ ترويسة noindex أصلًا

---

من مكتبة مهارات QuQi - https://www.quqi.io/ar/skills/http-header-directive-audit

ما تحتاجه أولًا

• القدرة على طلب الروابط وقراءة ترويسات الاستجابة الخام من خارج شبكتك، لأن الطلب الداخلي قد يتجاوز الـ CDN تمامًا
• جرد بالروابط غير HTML المتاحة للعامة: المستندات والتنزيلات والوسائط والتصديرات ونقاط نهاية الـ API
• إعدادات الـ CDN أو الحافة شاملةً قواعد الصفحات والـ workers والقواعد الجغرافية وأي منتج أمني في المسار
• تصدير زحف يعلّم الروابط غير HTML القابلة للفهرسة

الطريقة

1. 01 اطلب رابطًا واحدًا عن كل نوع محتوى، الترويسات فقط، من خارج شبكتك ودون كوكيز. عنوان IP المكتب أو VPN أو تجاوز مخصص لبيئة الاختبار يعيد ترويسات لن يستلمها أي زاحف أبدًا.
2. 02 ابحث تحديدًا عن X-Robots-Tag وعن ترويسة Link rel=canonical. كلاهما معتمد، وكلاهما غير مرئي في مصدر الصفحة، وكلاهما يُضبط عادةً مرة واحدة على يد مطور ولا يُراجَع بعدها.
3. 03 احسم كل تعارض بين الترويسة والـ HTML. حين يلتقي noindex في الترويسة مع وسم index في الـ HTML يفوز الأشد تقييدًا، والترويسة هي ما لا يفكر أحد في فحصه.
4. 04 اعمل على جرد الملفات غير HTML. ملف PDF يكرر صفحة، وتصدير قديم، ووسائط من بيئة الاختبار: كلها قابلة للفهرسة افتراضيًا، والترويسة هي الطريقة الوحيدة لاستبعادها مع إبقائها قابلة للزحف.
5. 05 تأكد أن robots.txt يُقدَّم من الخادم الأصلي الذي تظنه. قد يقدّم الـ CDN أو منصة الاستضافة أو منتج أمني نسخته الخاصة، وأي خطأ 5xx على robots.txt يوقف الزحف إلى المضيف كله لا إلى ذلك الملف وحده.
6. 06 كرر الطلبات من منطقة أخرى وبـ user agent للجوال. عمليات إعادة التوجيه والحظر حسب الدولة تُظهر للزاحف موقعًا مختلفًا عن الموقع الذي تدققه، لأن Googlebot يزحف في الغالب من عناوين في الولايات المتحدة.
7. 07 افحص ترويسات Vary والتخزين المؤقت حيثما اختلفت الاستجابة حسب الـ user agent أو الجهاز، وتأكد أن الحافة لا تخزّن استجابة جمهور وتقدّمها لجمهور آخر.

ما الذي تنتجه

خريطة ترويسات لكل نوع محتوى ولكل قاعدة على الحافة، تسرد كل توجيه مُرسل، والطبقة التي ضبطته، وكيف حُسم كل تعارض بين الترويسة والـ HTML.

أين تخطئ عادةً

• التدقيق عبر أدوات مطوري المتصفح وكوكيز جلستك مرفقة، فتقرأ نسخة المستخدم المسجّل بدل نسخة الزاحف
• تطبيق X-Robots-Tag بـ noindex على مجلد كامل فتُصاب معه صفحات كان مقصودًا لها أن تتصدر
• افتراض أن robots.txt تحت سيطرتك بينما تقدّم المنصة أو الطبقة الأمنية نسختها الخاصة
• حظر ملف PDF في robots.txt وانتظار خروجه من الفهرس، بينما يجب أن يبقى الملف قابلًا للزحف حتى تُقرأ ترويسة noindex أصلًا

استخدم هذه المهارة في الذكاء الاصطناعي الخاص بك

الملف الذي تنزّله markdown بسيط، يحمل الاسم والمُشغّل في ترويسته. وحين يكون المساعد قادرًا على تحميل المهارات وحده، فهذه الترويسة هي ما يقرؤه ليقرر أن هذه المهارة تنطبق.

المزيد في SEO التقني