قائمة زواحف الذكاء الاصطناعي في 2026: بأيها تسمح؟

زواحف الذكاء الاصطناعي التي تزور المواقع في 2026 ثلاثة أنواع: زواحف تدريب مثل GPTBot وClaudeBot وCCBot، وزواحف بحث مثل OAI-SearchBot وClaude-SearchBot وPerplexityBot، وأدوات جلب مباشر مثل ChatGPT-User تفتح صفحة أثناء محادثة شخص ما. والنشاط التجاري الذي يريد أن تستشهد به إجابات الذكاء الاصطناعي عليه أن يسمح لزواحف البحث وأدوات الجلب المباشر، ثم يقرّر في أمر التدريب على حدة. أما Google-Extended وApplebot-Extended فليسا زاحفين أصلًا: إنهما رمزان في robots.txt يحدّدان كيف يجوز لجوجل وآبل استخدام صفحاتك في الذكاء الاصطناعي.

في ما يلي: القائمة، وأسطر robots.txt لكل سياسة، وتغييرات Cloudflare في 2026. ولتعرف كيف يختار البحث بالذكاء الاصطناعي مصادره، اقرأ كيف تظهر في ChatGPT والبحث بالذكاء الاصطناعي.

قائمة زواحف الذكاء الاصطناعي في 2026، مع رموز robots.txt

تغطي قائمة زواحف الذكاء الاصطناعي أدناه روبوتات الذكاء الاصطناعي التي توثّقها الشركات الكبرى حتى أكتوبر 2026، مأخوذة من صفحات الزواحف لدى OpenAI وAnthropic وPerplexity وجوجل وآبل والشركات الأخرى المذكورة. والرمز (token) هو الاسم الذي يأتي بعد User-agent: في robots.txt. والعمود الأخير ينقل ما تقوله كل شركة، لا ما قاسه أحد.

ولا تظهر في القائمة ByteDance، الشركة المالكة لتيك توك، فهي لا تنشر أي وثائق عن زواحفها استطعنا العثور عليها. وفي أكتوبر 2024، نقلت Fortune بحثًا أجرته Kasada، وهي شركة متخصصة في إدارة الروبوتات، وجد أن Bytespider، زاحف ByteDance، يتجاهل robots.txt.

زواحف التدريب وزواحف البحث وأدوات الجلب المباشر: ما الفرق؟

تختلف زواحف الذكاء الاصطناعي بحسب ما يحدث لصفحتك بعد الزيارة. فزاحف التدريب يجمع صفحات قد ينتهي بها الأمر داخل نموذج ذكاء اصطناعي مستقبلي. وزاحف البحث يبني الفهرس الذي يبحث فيه المساعد حين يجيب، وهكذا يُستشهد بالصفحة مع رابط. وأداة الجلب المباشر تفتح صفحة واحدة لأن شخصًا طلبها، في هذه اللحظة.

ولكل نوع مفتاحه الخاص. تقول OpenAI إن «كل إعداد مستقل عن الإعدادات الأخرى»، فيستطيع الموقع أن يمنع GPTBot ويظل يظهر في بحث ChatGPT. وتفصل Anthropic وPerplexity وميتا وأمازون وMistral روبوتاتها بالطريقة نفسها.

وأدوات الجلب المباشر هي المجموعة الإشكالية: فـOpenAI وPerplexity وجوجل وميتا وأمازون تقول إن أدواتها قد لا تتبع robots.txt، لأن شخصًا هو من بدأ الطلب. أما Anthropic فتقول إن Claude-User يتبعه.

ما الذي يحجبه Google-Extended وApplebot-Extended فعلًا

Google-Extended رمز في robots.txt، لا زاحف. وتقول جوجل إنه «ليست له سلسلة وكيل مستخدم (user agent) منفصلة في طلبات HTTP»: فـGooglebot هو من يزحف، والرمز لا يفعل إلا أن يخبر جوجل كيف يجوز لها أن تستخدم ما جلبه Googlebot.

ومنع Google-Extended يُبقي صفحاتك خارج تدريب نماذج Gemini المستقبلية، وخارج الإسناد، أي عمليات البحث الآنية التي تقف خلف الإجابات في تطبيق Gemini وفي Vertex AI، منصة الذكاء الاصطناعي السحابية من جوجل. وتقول جوجل إنه لا يؤثر في الظهور في البحث، وليس إشارة ترتيب.

ولا يُبقيك Google-Extended خارج AI Overviews أو AI Mode كذلك، فهما تعتمدان على فهرس البحث. ولهما أدوات تحكم خاصة: وسم nosnippet، وإعداد للذكاء الاصطناعي التوليدي في Search Console قالت جوجل إنه وصل إلى كل المواقع في 31 أغسطس 2026. راجع دليلنا إلى الظهور في AI Overviews من جوجل.

ويعمل Applebot-Extended بالطريقة نفسها لدى آبل. فآبل تقول إنه «لا يزحف إلى صفحات الويب»، ولا يحدّد إلا هل يجوز استخدام الصفحات التي جمعها Applebot في تدريب نماذجها الأساسية. والصفحات التي تمنعه تستطيع أن تظل تظهر في البحث عبر Siri وSpotlight وSafari، ولا تُستخدم القاعدة في الترتيب. أما حظر Applebot نفسه فأمر مختلف: فهو يوقف الزحف الذي تقوم عليه ميزات البحث لدى آبل.

هل تلتزم زواحف الذكاء الاصطناعي بملف robots.txt؟

تقول معظم زواحف الذكاء الاصطناعي التابعة للشركات الكبرى إنها تلتزم بملف robots.txt، لكن robots.txt طلب لا قفل. فلا شيء تقنيًا يمنع زاحفًا يتجاهله، وأي أداة لكشط المحتوى تستطيع أن تستعير اسمًا معروفًا. فتعامل مع العمود الأخير في الجدول على أنه سياسة معلنة، ثم افحص سجلات الخادم، وطابق عنوان IP لكل زيارة مع القائمة التي تنشرها الشركة.

وقد اختُبرت هذه السياسات علنًا. ففي أغسطس 2025، اتهمت Cloudflare شركة Perplexity باستخدام زواحف غير معلنة تتنكر في هيئة متصفح Chrome لتصل إلى مواقع حظرتها، وأزالت Perplexity من قائمة الروبوتات الموثّقة لديها. ووصفت Perplexity التحليل بأنه معيب، وقالت إن Cloudflare خلطت بين عمليات الجلب التي يطلبها المستخدم والزحف. وفي المنشور نفسه، ذكرت Cloudflare شركة OpenAI مثالًا على الممارسة الجيدة: فقد توقف ChatGPT-User حين مُنع.

ولا يعمل ملف robots.txt إلا للمستقبل: فـAnthropic تقول إن حظر ClaudeBot يستبعد «المواد المستقبلية» للموقع من التدريب.

هل يجب أن تحظر زواحف الذكاء الاصطناعي؟

معظم مواقع الأنشطة التجارية يجب ألا تحظر زواحف البحث بالذكاء الاصطناعي، لأن ذلك يُخرجها من إجابات قد ترسل إليها عملاء. أما حظر زواحف التدريب فقرار منفصل وأصغر. فـOpenAI وآبل تقولان إنه يُبقي الصفحات خارج النماذج المستقبلية دون أن يخفيها عن البحث، وAnthropic تشغّل روبوتًا منفصلًا لكل مهمة.

وحجة حظر التدريب تتعلق بالقيمة. فقد ذكرت Cloudflare أن 52% من طلبات الزواحف التي رأتها في يونيو 2026 كانت لتدريب الذكاء الاصطناعي، بعد أن كانت 22% في ربيع 2025، والتدريب لا يعيد إليك أي زوار. والناشرون الذين يبيعون كتاباتهم أو يرخّصونها لديهم أسباب وجيهة ليرفضوا.

أما حجة السماح به فلم تُثبت: فالنموذج الذي تعلّم عن نشاطك قد يصفه وصفًا صحيحًا دون أن يبحث. ولا توثّق أي شركة ذكاء اصطناعي هذا الأثر، فتعامل معه على أنه رهان.

وهناك فخّان يقع فيهما من يحظر. فـGoogle-Extended يتحكم أيضًا في الإسناد داخل تطبيق Gemini، لذا قد يكلّفك حظره الظهور في إجابات تطبيق Gemini. وحيث تلتزم أدوات الجلب المباشر بالحظر، لا تعود المساعدات قادرة على فتح صفحتك حين يسأل أحد عنك بالاسم. وقالت Cloudflare في سبتمبر 2026 إن أقل من 1% من المواقع على شبكتها تحظر زواحف البحث، بينما تقيّد 17% منها تدريب الذكاء الاصطناعي.

أمثلة robots.txt لزواحف الذكاء الاصطناعي

ملف robots.txt ملف نصي عادي في جذر النطاق، مثل yoursite.com/robots.txt، ويحتاج كل نطاق فرعي إلى ملف خاص به. وهناك قاعدة يتعثر فيها كثيرون: فالزاحف يتبع المجموعة التي تسمّيه بأدق تحديد فقط، ويتجاهل مجموعة User-agent: *، كما تشرح وثائق جوجل عن robots.txt. فإن سمّيت روبوتًا، فكرّر له أي أسطر Disallow يجب أن يظل يلتزم بها.

السماح لكل زواحف الذكاء الاصطناعي

ملف robots.txt الخاص بـQuQi يسمح للجميع. فبعد User-agent: * وAllow: /، يسمّي أحد عشر رمزًا للذكاء الاصطناعي في مجموعة واحدة، ويكرر فيها مساريه الخاصين:

• User-agent: GPTBot
• User-agent: OAI-SearchBot
• User-agent: ChatGPT-User
• User-agent: ClaudeBot
• User-agent: Claude-SearchBot
• User-agent: Claude-User
• User-agent: PerplexityBot
• User-agent: Perplexity-User
• User-agent: Google-Extended
• User-agent: Applebot-Extended
• User-agent: CCBot
• Allow: /
• Disallow: /admin
• Disallow: /api/

حظر تدريب الذكاء الاصطناعي مع البقاء في البحث بالذكاء الاصطناعي

أضف مجموعة تمنع رموز التدريب وحدها، واترك كل ما عداها كما هو:

• User-agent: GPTBot
• User-agent: ClaudeBot
• User-agent: Google-Extended
• User-agent: Applebot-Extended
• User-agent: meta-externalagent
• User-agent: MistralAI-Training
• User-agent: CCBot
• Disallow: /

أما Amazonbot فقرار يعود إلى تقديرك: فأمازون تقول إنه قد يُستخدم في تدريب نماذج الذكاء الاصطناعي لديها، لكنه يخدم أيضًا ميزات أخرى في أمازون، بينما يتولى Amzn-SearchBot البحث. وليس لدى Bing رمز تدريب في robots.txt. فأداة التحكم لديه هي وسم الصفحة noarchive، الذي يُبقي الصفحة منذ 2023 خارج إجابات المحادثة في Bing، وهي Copilot اليوم، وخارج تدريب نماذج مايكروسوفت. وذكرت Cloudflare أن مايكروسوفت تخطط لخيار في robots.txt في أوائل 2027.

حظر كل زواحف الذكاء الاصطناعي

ضع كل رموز الجدول، ما عدا Googlebot وBingbot وApplebot، في مجموعة واحدة تنتهي بـDisallow: /. وسيبقى مع ذلك ثلاثة أمور مفتوحة:

• ميزات الذكاء الاصطناعي لدى جوجل وBing وآبل، التي تستخدم زواحف البحث لديها. فهذه تخضع لإعداد Search Console وnosnippet وnoarchive، لا لملف robots.txt.
• أدوات الجلب المباشر التي قد تتجاهل robots.txt. ولا يوقفها إلا قاعدة في جدار الحماية أو في شبكة CDN.
• كل ما جُمع قبل وضع القاعدة.

هل تحظر Cloudflare زواحف الذكاء الاصطناعي افتراضيًا؟

تحظر Cloudflare بعض زواحف الذكاء الاصطناعي افتراضيًا على المواقع الجديدة. فمنذ 15 سبتمبر 2026، تحصل النطاقات الجديدة على إعداد افتراضي يحظر روبوتات تدريب الذكاء الاصطناعي وروبوتات وكلاء الذكاء الاصطناعي على الصفحات التي تعرض إعلانات، بينما يبقى السماح لزواحف البحث. وتُعرض على المواقع التي لا إعلانات فيها إعدادات جاهزة تسمح بالأنواع الثلاثة.

• 1 يوليو 2025: بدأت Cloudflare تحظر زواحف تدريب الذكاء الاصطناعي افتراضيًا على النطاقات الجديدة.
• 1 يوليو 2026: انقسمت حركة الذكاء الاصطناعي إلى Search وAgent وTraining (البحث والوكلاء والتدريب)، يضبط كل عميل كل فئة منها على حدة، بما في ذلك الباقة المجانية.
• 15 سبتمبر 2026: سرت الإعدادات الافتراضية المرتبطة بالإعلانات، وانطلق Disallow AI Training. وحلّت الأدوات الثلاث محل مفتاح Block AI bots القديم، وحلّ Bot Preference Sync، الذي أُعلن في أغسطس، محل managed robots.txt.

والفخ هو اختيار Block (الحظر) للتدريب. فـGooglebot وBingbot وApplebot تزحف للبحث وللتدريب معًا، وCloudflare تطبّق القاعدة الأشد، فيحظرها هذا الاختيار وقد يُخرج الموقع من جوجل. أما Disallow AI Training فيتجنب ذلك بنشر تفضيل «لا للتدريب» في robots.txt، بما في ذلك Google-Extended وApplebot-Extended، بينما يبقى زحف البحث مفتوحًا. ويكتب Bot Preference Sync هذه الأسطر فوق قواعدك الخاصة، فافحص ملف robots.txt المنشور على موقعك.

كيف يساعدك QuQi

السماح لزواحف البحث يجعل الموقع مؤهلًا، لا مذكورًا. ووكيل «الظهور في الذكاء الاصطناعي» في فريق QuQi يتحقق كل أسبوع هل تذكر AI Overviews من جوجل وChatGPT وPerplexity وGemini نشاطك في الأسئلة التي يطرحها مشتروك، ويسجّل من يُذكر بدلًا منك، ويحوّل كل فجوة إلى موجز لكاتب المحتوى. ويدقق مدقق SEO الموقع ويضع في المقدمة ما يكلّفك أكثر الزيارات. وتجري كل جلسة عمل في محادثة تستطيع فتحها والتدخل فيها. اطّلع على الأسعار.

أسئلة شائعة