ตัวตรวจสอบ Robots.txt

ดึงไฟล์ robots.txt จากเว็บไซต์ใดๆ

Robots.txt เป็นมาตรฐานที่เว็บไซต์ใช้เพื่อสื่อสารกับโปรแกรมรวบรวมข้อมูลเว็บและบอทเครื่องมือค้นหา เครื่องมือตรวจสอบ robots.txt ของเราจะดึงข้อมูลและแสดงไฟล์นี้จาก URL ใดๆ โดยแสดงให้เห็นอย่างชัดเจนว่าเส้นทางใดไม่ได้รับอนุญาตและ User Agent ใดที่ได้รับผลกระทบ

ผลลัพธ์

ป้อน URL เพื่อดึง robots.txt

FAQ

robots.txt คืออะไร?

robots.txt คือไฟล์ที่วางไว้ที่รากของเว็บไซต์และบอกโปรแกรมรวบรวมของเครื่องมือค้นหาว่าหน้าใดเข้าถึงได้หรือไม่ได้