🤖 robots.txt 생성기
선택한 정책에 맞는 robots.txt 내용을 만들어 복사·다운로드할 수 있습니다.
사용 방법
- 기본 정책(모두 허용/모두 차단/일부 경로만 차단)을 선택합니다.
- 차단할 경로를 한 줄에 하나씩 입력합니다 (예: /admin/).
- 사이트맵 URL과 AI 학습봇 차단 여부를 지정합니다.
- 생성된 내용을 robots.txt 파일로 다운로드해 사이트 루트에 올립니다.
이럴 때 유용해요
- 새 사이트 오픈 전에 관리자 페이지를 검색에서 숨길 때
- GPTBot·CCBot 등 AI 학습 크롤러의 수집을 거부하고 싶을 때
- sitemap 위치를 검색엔진에 알려 색인을 돕고 싶을 때
알아두면 좋은 팁
- robots.txt는 반드시 도메인 루트(https://example.com/robots.txt)에 있어야 하며 하위 폴더에 두면 무시됩니다.
- robots.txt는 '신사협정'이라 악성 봇은 무시할 수 있습니다. 민감한 페이지는 로그인·noindex 등으로 별도 보호하세요.
- Disallow: / 는 사이트 전체 차단입니다. 운영 사이트에 실수로 적용하지 않게 주의하세요.
자주 묻는 질문
robots.txt 파일은 어디에 업로드하나요?
도메인 최상위 경로에 robots.txt 라는 이름 그대로 올립니다. https://example.com/robots.txt 로 접속했을 때 내용이 보여야 정상 적용된 것입니다.
robots.txt로 차단하면 검색 결과에서 완전히 사라지나요?
아니요. 크롤링만 막을 뿐, 다른 사이트가 링크하면 URL 자체는 색인될 수 있습니다. 확실히 제외하려면 페이지에 noindex 메타태그를 쓰고 서치콘솔에서 제거 요청을 하세요.
AI 학습봇 차단은 어떤 봇을 막나요?
옵션을 켜면 GPTBot(OpenAI), CCBot(Common Crawl), Google-Extended(제미나이 학습용)에 대한 차단 블록이 추가됩니다. 일반 구글·네이버 검색 색인에는 영향이 없습니다.
Allow와 Disallow가 겹치면 어떻게 되나요?
구글 기준으로 더 구체적인(긴) 규칙이 우선합니다. 예를 들어 Disallow: /data/ 와 Allow: /data/public/ 이 함께 있으면 /data/public/ 은 크롤링이 허용됩니다.
