تدقيق ميزانية الزحف
محركات البحث تخصص قدرًا محدودًا من الزحف لأي موقع. في متجر أو موقع فيه تصفح متعدد الأوجه، تُصرف هذه الميزانية عادةً على روابط شبه مكررة بينما تنتظر الصفحات المهمة. هذه المهارة تكشف أين تذهب الميزانية وتستعيدها.
استخدمها عندما يكون لديك موقع كبير فيه صفحات تظل خارج الفهرس لأسابيع، أو عندما تُظهر ملفات الـ log أن الزواحف تقضي وقتها على الباراميترات والفلاتر وصفحات الترقيم بدل الصفحات التي تهمك.
ملف المهارة
ما تحتاجه أولًا
- سجلات الخادم لمدة 14 يومًا على الأقل، أو تقرير إحصاءات الزحف في Search Console
- جرد كامل للروابط (sitemap أو تصدير من زحف)
- robots.txt
الطريقة
- 01 استخرج عدد زيارات الزحف لكل نمط URL من الـ logs، مع التجميع حسب مقطع المسار وباراميتر الاستعلام لا حسب كل رابط على حدة.
- 02 رتّب الأنماط حسب نصيبها من إجمالي زيارات الزحف. أي نمط يتجاوز 5% ولا تريد ترتيبه هو تسريب.
- 03 لكل تسريب، حدد الأداة الصحيحة: Disallow في robots.txt للروابط التي يجب ألا تُجلب أبدًا، canonical للمكرر الذي يجب أن يبقى متاحًا، noindex للصفحات التي يجب الزحف إليها دون إدراجها، وقواعد الباراميترات فقط حين لا تناسب الثلاثة السابقة.
- 04 ابحث عن مصائد الزحف: التقاويم اللانهائية، معرفات الجلسة داخل الروابط، وترتيبات الفرز التي تولّد تركيبات بلا حدود.
- 05 قارن تكرار الزحف بتواريخ آخر تعديل. الصفحات التي تتغير كثيرًا ويُزحف إليها نادرًا تحتاج ربطًا داخليًا أفضل، لا توجيهًا.
- 06 أعد القياس بعد 14 يومًا وتأكد أن النصيب المستعاد ذهب فعلًا إلى الصفحات التي قصدتها.
ما الذي تنتجه
جدول مرتب بتسريبات الزحف مع التوجيه المحدد لكل منها، بالإضافة إلى مقارنة قبل/بعد لنصيب الزحف المصروف على الصفحات المدرّة للدخل.
أين تخطئ عادةً
- حظر رابط في robots.txt وهو يحمل روابط بالفعل - يحتفظ بقيمته لكنه لا يستطيع تمريرها
- استخدام noindex على صفحات منعت الزحف إليها أيضًا، فلا يُرى الـ noindex أبدًا
- التعامل مع ميزانية الزحف كمشكلة في موقع من 200 صفحة، حيث لا تكون مشكلة تقريبًا أبدًا
استخدم هذه المهارة في الذكاء الاصطناعي الخاص بك
الملف الذي تنزّله markdown بسيط، يحمل الاسم والمُشغّل في ترويسته. وحين يكون المساعد قادرًا على تحميل المهارات وحده، فهذه الترويسة هي ما يقرؤه ليقرر أن هذه المهارة تنطبق.
المزيد في SEO التقني
تحليل فجوة الفهرسة
استخدمها عندما لا يتطابق عدد الصفحات التي تنشرها مع عدد ما يفهرسه Google، وتحتاج أن تعرف أي صفحا...
فرز Core Web Vitals
استخدمها عندما تُظهر بيانات الميدان فشلًا في LCP أو INP أو CLS وتحتاج أن تعرف أي إصلاح سيحرك الم...
فحص عرض JavaScript
استخدمها عندما يعرض الموقع محتواه من جهة العميل وتحتاج أن تتأكد أن محركات البحث تراه فعلًا، خصوص...
تنظيف سلاسل إعادة التوجيه
استخدمها بعد عملية ترحيل أو تغيير نطاق، أو كلما أبلغ الزحف عن إعادة توجيه تشير إلى إعادة توجيه أ...