Robots.txt जाँचकर्ता

robots.txt एक मानक है जिसका उपयोग वेबसाइटें वेब क्रॉलर और खोज इंजन बॉट के साथ संचार करने के लिए करती हैं। हमारा robots.txt चेकर किसी भी URL से इस फ़ाइल को लाता है और प्रदर्शित करता है, यह दर्शाता है कि कौन से पथ अस्वीकृत हैं और कौन से उपयोगकर्ता-एजेंट प्रभावित हैं।