Trình kiểm tra Robots.txt

Lấy tệp robots.txt từ bất kỳ trang web nào.

Robots.txt là một tiêu chuẩn được các trang web sử dụng để liên lạc với trình thu thập dữ liệu web và bot công cụ tìm kiếm. Trình kiểm tra robots.txt của chúng tôi tìm nạp và hiển thị tệp này từ bất kỳ URL nào, hiển thị chính xác đường dẫn nào không được phép và tác nhân người dùng nào bị ảnh hưởng.

Kết quả

Nhập URL để lấy robots.txt.
Trong thực tế

Robots Checker trong thực tế

Sau khi di chuyển trang, lưu lượng Google của bạn sụt giảm. Chạy trình kiểm tra robots và bạn phát hiện "Disallow: /" từ máy chủ staging bị sao chép sang production. Sửa một dòng trong robots.txt là đủ — và trình kiểm tra xác nhận bản sửa ngay lập tức.

Câu Hỏi Thường Gặp

robots.txt là gì?

robots.txt là tệp đặt ở thư mục gốc của trang web cho trình thu thập dữ liệu công cụ tìm kiếm biết trang nào có thể truy cập.

Làm thế nào để kiểm tra tệp robots.txt trực tuyến?

Nhập URL trang web và công cụ sẽ lấy /robots.txt của nó, hiển thị mọi quy tắc dạng dễ đọc. Nó cũng cho biết tệp có tồn tại không — một vấn đề phổ biến đến bất ngờ.

"Disallow: /" trong robots.txt nghĩa là gì?

Nó yêu cầu mọi trình thu thập tránh xa toàn bộ trang. Một số trang dùng nó khi phát triển rồi quên gỡ — đó là lý do các trang biến mất bí ẩn khỏi kết quả tìm kiếm sau khi thiết kế lại.

robots.txt có ngăn một trang bị lập chỉ mục không?

Robots.txt chặn thu thập nhưng không đảm bảo gỡ chỉ mục. Nếu trang được liên kết ở nơi khác, công cụ tìm kiếm có thể lập chỉ mục mà không cần truy cập. Để gỡ trang đã được lập chỉ mục, dùng thẻ noindex — robots.txt là lớp đầu tiên, không phải lớp duy nhất.