مدقق Robots.txt
الحصول على ملف robots.txt من أي موقع.
مدقق Robots عمليًا
بعد ترحيل موقع، انخفضت حركة المرور من Google لديك. شغّل مدقق robots وستكتشف أن "Disallow: /" الخاص بخادم الاختبار قد نُسخ إلى بيئة الإنتاج. يكفي إصلاح سطر واحد في robots.txt — ويؤكد المدقق الإصلاح فورًا.
الأسئلة الشائعة
ما هو robots.txt؟
robots.txt هو ملف موجود في جذر الموقع يخبر برامج زحف محركات البحث بالصفحات التي يمكنهم الوصول إليها.
كيف أتحقق من ملف robots.txt عبر الإنترنت؟
أدخل عنوان موقع الويب وستجلب الأداة ملف /robots.txt الخاص به، وتعرض جميع القواعد بشكل مقروء. كما توضح ما إذا كان الملف موجودًا أصلًا — وهي مشكلة شائعة بشكل مدهش.
ماذا يعني "Disallow: /" في ملف robots.txt؟
يطلب من جميع برامج الزحف الابتعاد عن الموقع بالكامل. تستخدمه بعض المواقع أثناء التطوير وتنسى إزالته — ولهذا تختفي الصفحات بشكل غامض من نتائج البحث بعد إعادة التصميم.
هل يمكن لملف robots.txt منع فهرسة صفحة؟
يوقف robots.txt الزحف لكنه لا يضمن إزالة الفهرسة. إذا كانت الصفحة مرتبطة في مكان آخر، فقد تفهرسها محركات البحث دون زيارتها. لإزالة الصفحات المفهرسة بالفعل استخدم وسم noindex — robots.txt هو الطبقة الأولى وليس الوحيدة.