Trình kiểm tra Robots.txt
Lấy tệp robots.txt từ bất kỳ trang web nào.
Robots.txt là một tiêu chuẩn được các trang web sử dụng để liên lạc với trình thu thập dữ liệu web và bot công cụ tìm kiếm. Trình kiểm tra robots.txt của chúng tôi tìm nạp và hiển thị tệp này từ bất kỳ URL nào, hiển thị chính xác đường dẫn nào không được phép và tác nhân người dùng nào bị ảnh hưởng.
FAQ
robots.txt là gì?
robots.txt là tệp đặt ở thư mục gốc của trang web cho trình thu thập dữ liệu công cụ tìm kiếm biết trang nào có thể truy cập.