Robots.txt जाँचकर्ता
किसी भी वेबसाइट से robots.txt फ़ाइल प्राप्त करें।
Robots चेकर व्यवहार में
साइट माइग्रेशन के बाद आपका Google ट्रैफ़िक गिर गया। Robots चेकर चलाएँ और आप पाते हैं कि स्टेजिंग सर्वर का "Disallow: /" प्रोडक्शन में कॉपी हो गया। robots.txt में एक लाइन ठीक करना काफी है — और चेकर सुधार की तुरंत पुष्टि करता है।
अक्सर पूछे जाने वाले प्रश्न
robots.txt क्या है?
robots.txt एक फ़ाइल है जो वेबसाइट की जड़ में रखी जाती है, सर्च इंजन क्रॉलर्स को बताती है कि कौन से पृष्ठों तक पहुंच सकते हैं।
मैं robots.txt फ़ाइल ऑनलाइन कैसे जाँचूँ?
साइट URL दर्ज करें और टूल उसकी /robots.txt लाकर सभी नियम पठनीय रूप में दिखाता है। यह यह भी दिखाता है कि फ़ाइल मौजूद है या नहीं — एक आश्चर्यजनक रूप से आम समस्या।
robots.txt में "Disallow: /" का क्या मतलब है?
यह सभी क्रॉलरों से पूरी साइट से दूर रहने को कहता है। कुछ साइटें विकास के दौरान इसका उपयोग करती हैं और हटाना भूल जाती हैं — इसीलिए रीडिज़ाइन के बाद पृष्ठ खोज परिणामों से रहस्यमय ढंग से गायब हो जाते हैं।
क्या robots.txt किसी पृष्ठ को अनुक्रमित होने से रोक सकता है?
robots.txt क्रॉलिंग रोकता है लेकिन डी-इंडेक्सिंग की गारंटी नहीं देता। यदि पृष्ठ कहीं और लिंक है, तो सर्च इंजन उसे बिना विज़िट किए भी अनुक्रमित कर सकते हैं। पहले से अनुक्रमित पृष्ठ हटाने के लिए noindex टैग का उपयोग करें — robots.txt पहली परत है, एकमात्र नहीं।