تسجيل الدخول ابدأ مجانًا

مولّد robots.txt

اكتب قواعد زحف تلتزم بها محركات البحث فعليًا، مع ربط ملف sitemap بها.

فوري بلا تسجيل 

  
robots.txt يتحكم في الزحف لا في الفهرسة. الصفحة الممنوعة قد تظهر في النتائج إن ارتبطت بها مواقع أخرى؛ استخدم وسم meta بقيمة noindex لإبقائها خارج الفهرس.




          

  


  
    

    

            

        
ما الذي تفحصه

        
    
                    
  • يكتب مجموعة User-agent: * انطلاقًا من أحد ثلاثة إعدادات جاهزة: السماح بكل شيء، أو حظر المسارات المعتادة في التطبيقات، أو حظر الموقع كله لبيئة الاختبار.
    • 
                    
  • يمنع إعداد التطبيقات المسارات التالية: /admin/، /cart/، /checkout/، /account/، /search، وعناوين URL المرتّبة التي تطابق /*?*sort=.
    • 
                    
  • يضيف سطر Disallow لكل مسار إضافي تكتبه، ويضيف الشرطة المائلة في أوله إن نسيتها.
    • 
                    
  • يضيف عند الطلب مجموعات تحظر GPTBot وCCBot وClaudeBot وGoogle-Extended وanthropic-ai وPerplexityBot من الموقع كله.
    • 
                    
  • يضيف سطر Sitemap يشير إلى /sitemap.xml في الموقع الذي تُدخله.
    • 
                    
  • يبني الملف في متصفحك، جاهزًا للنسخ أو التنزيل باسم robots.txt.
    • 
                  

      

                  

        
قراءة النتيجة

                
تُطابَق كل قيمة Disallow من بداية المسار. فالقيمة /search تحظر /search?q=shoes، وتحظر أيضًا: /search-tips، /searchable-products. راجع القائمة مقابل عناوين URL في موقعك، وتأكد أن أي صفحة تريد أن يجدها الناس لا تبدأ بمسار محظور.

                
يفترض سطر Sitemap أن ملف sitemap لديك موجود في /sitemap.xml. فإن كان في مكان آخر، مثل /sitemap_index.xml، فعدّل هذا السطر قبل الرفع. ولا يعمل الملف إلا في جذر النطاق، مثل https://example.com/robots.txt، ويحتاج كل نطاق فرعي إلى ملفه الخاص.

                
يحظر خيار زواحف الذكاء الاصطناعي برامج الزحف الستة المذكورة في الملف ولا شيء غيرها. بعضها يجمع بيانات التدريب، وبعضها يجلب الصفحات لمساعدين يذكرون مصادرهم، لذا قد يقلّل حظرها كلها من عدد مرات الاستشهاد بك. اتركها مسموحة إن كان يهمك أن تُذكر في إجابات الذكاء الاصطناعي.

              

          

        

      
أسئلة

      

                

          هل تفحص الأداة ملف robots.txt الحالي لديّ؟
          
لا. تكتب ملفًا جديدًا من الخيارات التي تحددها، ولا تجلب موقعك. قارن النتيجة بملفك المنشور قبل أن تستبدله، كي تحتفظ بالقواعد التي أُضيفت عن قصد.

        

                

          كيف أُبقي موقع الاختبار خارج نتائج البحث؟
          
احمِه بكلمة مرور. يطلب إعداد بيئة الاختبار من الزواحف أن تبتعد، لكن robots.txt مجرد طلب، وقد يظهر عنوان URL المحظور في النتائج إن أشار إليه رابط ما.

        

                

          هل تتبع برامج زحف الذكاء الاصطناعي أيضًا القواعد الواردة تحت User-agent: *؟
          
لا. يتبع الزاحف المجموعة الأكثر تحديدًا التي تذكر اسمه ويتجاهل غيرها، فكل مجموعة لبرنامج زحف ذكاء اصطناعي قائمة بذاتها. وإن أضفت يدويًا مجموعة لبرنامج آخر، فكرّر فيها أسطر Disallow التي تريده أن يلتزم بها.

        

                

          هل أحتاج إلى ملف robots.txt أصلًا؟
          
لا. فمن دونه تفترض الزواحف أنها تستطيع جلب كل شيء. لكنه يبقى مفيدًا لإرشاد الزواحف إلى ملف sitemap، وإبعادها عن سلال الشراء والحسابات ونتائج البحث الداخلية.

        

              

    

      

  
  
  

    

      

        
أو توقّف عن فعلها يدويًا

        
هذه الأداة تفحص صفحة واحدة، مرة واحدة. أما فريقك فيفحص كل صفحة، كل أسبوع، ويصلح ما يجده.

      

      أضف موقعك مجانًا
    

  


  
  

    
أدوات مجانية أخرى

    

              
          
مولّد وسوم hreflang

          
أنشئ وسوم hreflang متبادلة لكل نسخة لغوية من الصفحة، واكتشف أخطاء الرموز التي تعطّلها بصمت.

        
              
          
منقّي نصوص الذكاء الاصطناعي

          
اكشف الأحرف عديمة العرض والعلامات المخفية داخل النص المنسوخ، وامسحها.

        
              
          
فاحص sitemap.xml

          
افحص ملف sitemap مباشرةً بحثًا عن الأخطاء التي تُبقي صفحاتك خارج الفهرسة.

        
              
          
فاحص وسوم meta

          
شاهد بالضبط ما تقرأه محركات البحث ومنصات التواصل الاجتماعي من صفحتك.

        
              
          
معاينة مقتطف SERP

          
اعرف كيف سيُقتطع العنوان والوصف قبل أن تنشرهما.

        
              
          
مولّد ترميز schema

          
أنشئ كود JSON-LD صحيحًا للأنواع التي تستخدمها محركات البحث فعليًا.