Robots.txt 체커
모든 웹사이트의 robots.txt 파일 가져오기
Robots.txt는 웹사이트에서 웹 크롤러 및 검색 엔진 봇과 통신하는 데 사용되는 표준입니다. robots.txt 검사기는 모든 URL에서 이 파일을 가져와 표시하여 허용되지 않는 경로와 영향을 받는 사용자 에이전트를 정확하게 보여줍니다.
사용 사례
Robots 검사기 실전
사이트 이전 후 Google 트래픽이 급감했습니다. Robots 검사기를 실행하면 스테이징 서버의 "Disallow: /"가 프로덕션에 복사된 것을 발견합니다. robots.txt 한 줄만 고치면 되고, 검사기가 수정을 즉시 확인해 줍니다.
자주 묻는 질문
robots.txt란?
robots.txt는 웹사이트 루트에 위치한 파일로, 검색 엔진 크롤러에게 접근 권한을 알립니다.
온라인에서 robots.txt 파일을 확인하려면 어떻게 하나요?
사이트 URL을 입력하면 도구가 /robots.txt를 가져와 모든 규칙을 읽기 쉬운 형태로 표시합니다. 파일 존재 여부도 보여줍니다 — 놀랍도록 흔한 문제입니다.
robots.txt의 "Disallow: /"는 무엇을 의미하나요?
모든 크롤러에게 사이트 전체 접근을 막으라고 요청하는 것입니다. 개발 중에 사용하고 삭제를 잊는 사이트가 있습니다. 개편 후 페이지가 검색 결과에서 이상하게 사라지는 이유가 바로 이것입니다.
robots.txt가 페이지 색인 생성을 막을 수 있나요?
robots.txt는 크롤링을 막지만 색인 제거를 보장하지 않습니다. 페이지가 다른 곳에서 링크되면 검색 엔진이 방문 없이도 색인할 수 있습니다. 이미 색인된 페이지를 제거하려면 noindex 태그를 사용하세요. robots.txt는 첫 번째 방어선일 뿐 유일한 방어선이 아닙니다.