Robots.txt 체커

모든 웹사이트의 robots.txt 파일 가져오기

Robots.txt는 웹사이트에서 웹 크롤러 및 검색 엔진 봇과 통신하는 데 사용되는 표준입니다. robots.txt 검사기는 모든 URL에서 이 파일을 가져와 표시하여 허용되지 않는 경로와 영향을 받는 사용자 에이전트를 정확하게 보여줍니다.