ตัวตรวจสอบ Robots.txt
ดึงไฟล์ robots.txt จากเว็บไซต์ใดๆ
Robots.txt เป็นมาตรฐานที่เว็บไซต์ใช้เพื่อสื่อสารกับโปรแกรมรวบรวมข้อมูลเว็บและบอทเครื่องมือค้นหา เครื่องมือตรวจสอบ robots.txt ของเราจะดึงข้อมูลและแสดงไฟล์นี้จาก URL ใดๆ โดยแสดงให้เห็นอย่างชัดเจนว่าเส้นทางใดไม่ได้รับอนุญาตและ User Agent ใดที่ได้รับผลกระทบ
FAQ
robots.txt คืออะไร?
robots.txt คือไฟล์ที่วางไว้ที่รากของเว็บไซต์และบอกโปรแกรมรวบรวมของเครื่องมือค้นหาว่าหน้าใดเข้าถึงได้หรือไม่ได้