التحقق من هوية الزواحف في سجلات الخادم

أي عميل يستطيع إرسال سلسلة user agent باسم Googlebot، وفي معظم المواقع العامة تأتي نسبة معتبرة من الزيارات المدّعية ذلك من أدوات كشط ومراقبة وزواحف ذكاء اصطناعي ترتدي الاسم. أي عمل على ميزانية الزحف مبني على سجل غير موثق يكون خاطئًا قبل أن يبدأ التحليل، وقواعد الجدار الناري المكتوبة منه تحظر الأشياء الخطأ. ينطبق هذا كلما كانت السجلات هي الدليل، ودائمًا قبل أن يحظر أحد زاحفًا على حافة الشبكة.

ملف المهارة

---
name: server-log-bot-verification
description: استخدمها عندما يقوم تحليل الزحف أو ارتفاع مفاجئ في استهلاك النطاق أو اقتراح بحظر زاحف على أسطر log تقول Googlebot، دون أن يتحقق أحد إن كانت كذلك فعلًا.
---

# التحقق من هوية الزواحف في سجلات الخادم

أي عميل يستطيع إرسال سلسلة user agent باسم Googlebot، وفي معظم المواقع العامة تأتي نسبة معتبرة من الزيارات المدّعية ذلك من أدوات كشط ومراقبة وزواحف ذكاء اصطناعي ترتدي الاسم. أي عمل على ميزانية الزحف مبني على سجل غير موثق يكون خاطئًا قبل أن يبدأ التحليل، وقواعد الجدار الناري المكتوبة منه تحظر الأشياء الخطأ. ينطبق هذا كلما كانت السجلات هي الدليل، ودائمًا قبل أن يحظر أحد زاحفًا على حافة الشبكة.

## ما تحتاجه أولًا

- سجلات وصول خام تتضمن الـ IP وسلسلة الـ user agent ورمز الحالة وعدد البايتات والطابع الزمني، 14 يومًا كحد أدنى ودون أخذ عينات
- القدرة على تشغيل استعلامات DNS عكسية وأمامية من خادم السجلات، أو نطاقات الـ IP المنشورة للزواحف التي تهمك
- robots.txt إضافة إلى أي قواعد بوتات مفعّلة على الـ CDN أو الـ WAF
- قائمة بالزواحف المهمة تجاريًا، مع الفصل بين زواحف البحث ومساعدات الذكاء الاصطناعي

## الطريقة

1. جمّع الطلبات حسب سلسلة الـ user agent المميزة مع العدد وحجم البايتات. الترتيب حسب الهوية المدّعاة أولًا هو ما يجعل الانتحال مرئيًا من الأساس.
2. تحقق من كل زيارة تدّعي أنها زاحف بحث عبر DNS عكسي على الـ IP، ثم حلّ اسم المضيف الناتج أماميًا وتأكد أنه يعود إلى الـ IP نفسه. وحيث لا يتوفر DNS عكسي، طابق مع ملف نطاقات الـ IP المنشور من المشغّل بعد إعادة تنزيله، لا الاعتماد على نسخة محفوظة.
3. ضع لكل طلب وسم موثق أو غير موثق أو غير ذلك، واحتفظ بالمجموعة غير الموثقة بدل حذفها. هي صورتك عن الكشط والحمل، وهي المكان الوحيد الذي ينكشف فيه المنتحل.
4. أعد حساب تكرار الزحف وعمقه وتوزيع رموز الحالة على المقطع الموثق وحده. كل استنتاج عن ميزانية الزحف يخرج من هذا المقطع دون سواه.
5. قدّر ما تكلفه الزيارات غير الموثقة فعليًا من زمن استجابة على الخادم الأصلي ونسبة أخطاء 5xx تحت الحمل واستهلاك نطاق. حدّ من المعدل حيث قد يكون المصدر أداة يعتمد عليها أحدهم، واحفظ الحظر الكامل للأحجام التي تضر الخادم الأصلي بشكل يمكن إثباته.
6. قرر بشأن زواحف الذكاء الاصطناعي والتدريب بمعزل عن زواحف البحث، ودوّن السبب. المسألة محل خلاف حقيقي: السماح لها يشتري ظهورًا في إجابات المساعدين قد لا يرسل نقرة أبدًا، وحظرها يحمي محتوى يُستخدم بلا مقابل، ولا موقف من الاثنين محسوم.
7. كرر العملية بعد 30 يومًا. المنتحلون يغيّرون الـ user agent، والزواحف الشرعية تغيّر نطاقات الـ IP، والتحقق الذي يجري مرة واحدة يتحول إلى إحساس زائف بنظافة السجل.

## ما الذي تنتجه

مقطع سجل يضم الزواحف الموثقة، وقرار لكل زاحف بالسماح أو تحديد المعدل أو الحظر مع سببه المعلن، وحجم الزيارات غير الموثقة المتبقية مقدّرًا بعدد الطلبات واستهلاك النطاق.

## أين تخطئ عادةً

- التحقق بالاعتماد على الـ user agent، أو على ملف نطاقات IP نُزّل قبل شهور، فيبقى برنامج كشط داخل أرقام ميزانية الزحف وخارج حدود المعدل
- الحظر على الـ WAF قبل تجربة Disallow في robots.txt، فيتحول زاحف كان سيلتزم بالقاعدة إلى سيل من أخطاء 403 عليك تفسيرها الآن
- أخذ عينة يوم من كل سبعة، فالزحف يصل على شكل دفعات واليوم المُعايَن إما دفعة كاملة أو لا شيء
- قراءة سلسلة Googlebot قادمة من نطاق استضافة سحابية كدليل على تدخل، بينما ترسل أدوات المحاكاة والاختبار من طرف ثالث السلسلة نفسها بشكل مشروع

---

من مكتبة مهارات QuQi - https://www.quqi.io/ar/skills/server-log-bot-verification

ما تحتاجه أولًا

• سجلات وصول خام تتضمن الـ IP وسلسلة الـ user agent ورمز الحالة وعدد البايتات والطابع الزمني، 14 يومًا كحد أدنى ودون أخذ عينات
• القدرة على تشغيل استعلامات DNS عكسية وأمامية من خادم السجلات، أو نطاقات الـ IP المنشورة للزواحف التي تهمك
• robots.txt إضافة إلى أي قواعد بوتات مفعّلة على الـ CDN أو الـ WAF
• قائمة بالزواحف المهمة تجاريًا، مع الفصل بين زواحف البحث ومساعدات الذكاء الاصطناعي

الطريقة

1. 01 جمّع الطلبات حسب سلسلة الـ user agent المميزة مع العدد وحجم البايتات. الترتيب حسب الهوية المدّعاة أولًا هو ما يجعل الانتحال مرئيًا من الأساس.
2. 02 تحقق من كل زيارة تدّعي أنها زاحف بحث عبر DNS عكسي على الـ IP، ثم حلّ اسم المضيف الناتج أماميًا وتأكد أنه يعود إلى الـ IP نفسه. وحيث لا يتوفر DNS عكسي، طابق مع ملف نطاقات الـ IP المنشور من المشغّل بعد إعادة تنزيله، لا الاعتماد على نسخة محفوظة.
3. 03 ضع لكل طلب وسم موثق أو غير موثق أو غير ذلك، واحتفظ بالمجموعة غير الموثقة بدل حذفها. هي صورتك عن الكشط والحمل، وهي المكان الوحيد الذي ينكشف فيه المنتحل.
4. 04 أعد حساب تكرار الزحف وعمقه وتوزيع رموز الحالة على المقطع الموثق وحده. كل استنتاج عن ميزانية الزحف يخرج من هذا المقطع دون سواه.
5. 05 قدّر ما تكلفه الزيارات غير الموثقة فعليًا من زمن استجابة على الخادم الأصلي ونسبة أخطاء 5xx تحت الحمل واستهلاك نطاق. حدّ من المعدل حيث قد يكون المصدر أداة يعتمد عليها أحدهم، واحفظ الحظر الكامل للأحجام التي تضر الخادم الأصلي بشكل يمكن إثباته.
6. 06 قرر بشأن زواحف الذكاء الاصطناعي والتدريب بمعزل عن زواحف البحث، ودوّن السبب. المسألة محل خلاف حقيقي: السماح لها يشتري ظهورًا في إجابات المساعدين قد لا يرسل نقرة أبدًا، وحظرها يحمي محتوى يُستخدم بلا مقابل، ولا موقف من الاثنين محسوم.
7. 07 كرر العملية بعد 30 يومًا. المنتحلون يغيّرون الـ user agent، والزواحف الشرعية تغيّر نطاقات الـ IP، والتحقق الذي يجري مرة واحدة يتحول إلى إحساس زائف بنظافة السجل.

ما الذي تنتجه

مقطع سجل يضم الزواحف الموثقة، وقرار لكل زاحف بالسماح أو تحديد المعدل أو الحظر مع سببه المعلن، وحجم الزيارات غير الموثقة المتبقية مقدّرًا بعدد الطلبات واستهلاك النطاق.

أين تخطئ عادةً

• التحقق بالاعتماد على الـ user agent، أو على ملف نطاقات IP نُزّل قبل شهور، فيبقى برنامج كشط داخل أرقام ميزانية الزحف وخارج حدود المعدل
• الحظر على الـ WAF قبل تجربة Disallow في robots.txt، فيتحول زاحف كان سيلتزم بالقاعدة إلى سيل من أخطاء 403 عليك تفسيرها الآن
• أخذ عينة يوم من كل سبعة، فالزحف يصل على شكل دفعات واليوم المُعايَن إما دفعة كاملة أو لا شيء
• قراءة سلسلة Googlebot قادمة من نطاق استضافة سحابية كدليل على تدخل، بينما ترسل أدوات المحاكاة والاختبار من طرف ثالث السلسلة نفسها بشكل مشروع

استخدم هذه المهارة في الذكاء الاصطناعي الخاص بك

الملف الذي تنزّله markdown بسيط، يحمل الاسم والمُشغّل في ترويسته. وحين يكون المساعد قادرًا على تحميل المهارات وحده، فهذه الترويسة هي ما يقرؤه ليقرر أن هذه المهارة تنطبق.

المزيد في SEO التقني