ตัวตรวจสอบ Robots.txt
ดึงไฟล์ robots.txt จากเว็บไซต์ใดๆ
Robots Checker ในการใช้งานจริง
หลังย้ายไซต์ การเข้าชมจาก Google ของคุณดิ่งลง รันตัวตรวจสอบ robots แล้วคุณพบว่า "Disallow: /" จากเซิร์ฟเวอร์ staging ถูกคัดลอกไปยัง production แก้หนึ่งบรรทัดใน robots.txt ก็เพียงพอ — และตัวตรวจสอบยืนยันการแก้ไขทันที
คำถามที่พบบ่อย
robots.txt คืออะไร?
robots.txt คือไฟล์ที่วางไว้ที่รากของเว็บไซต์และบอกโปรแกรมรวบรวมของเครื่องมือค้นหาว่าหน้าใดเข้าถึงได้หรือไม่ได้
จะตรวจสอบไฟล์ robots.txt ออนไลน์ได้อย่างไร?
ป้อน URL ของเว็บไซต์แล้วเครื่องมือจะดึง /robots.txt มาแสดงกฎทั้งหมดในรูปแบบที่อ่านง่าย นอกจากนี้ยังแสดงว่าไฟล์มีอยู่หรือไม่ — ปัญหาที่พบบ่อยอย่างน่าประหลาดใจ
"Disallow: /" ใน robots.txt หมายความว่าอย่างไร?
มันขอให้โปรแกรมรวบรวมทั้งหมดอยู่ห่างจากทั้งไซต์ บางไซต์ใช้สิ่งนี้ระหว่างการพัฒนาแล้วลืมลบออก — นี่คือเหตุผลที่หน้าต่าง ๆ หายไปจากผลการค้นหาอย่างลึกลับหลังการออกแบบใหม่
robots.txt ป้องกันไม่ให้หน้าถูกจัดทำดัชนีได้ไหม?
robots.txt หยุดการรวบรวมข้อมูลแต่ไม่รับประกันการถอนดัชนี หากหน้ามีลิงก์จากที่อื่น เครื่องมือค้นหาอาจจัดทำดัชนีโดยไม่ต้องเข้าชม หากต้องการนำหน้าที่ถูกจัดทำดัชนีแล้วออก ให้ใช้แท็ก noindex — robots.txt เป็นชั้นแรก ไม่ใช่ชั้นเดียว