robots.txt란? 작성법과 주의점
robots.txt는 사이트 맨 앞(루트)에 두는 작은 텍스트 파일로 검색엔진 크롤러에게 어떤 경로를 수집해도 되고 어떤 경로는 피해야 하는지 알려줍니다.
쉽게 말하면
건물 입구의 안내판 같은 파일입니다. 주소는 항상 도메인 뒤에 /robots.txt 입니다.
기본 예시
모든 크롤러에게 전체를 허용하고 sitemap 위치를 알려주는 형태입니다.
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml특정 경로만 막고 싶을 때
User-agent: *
Disallow: /admin/관리자 페이지처럼 검색에 필요 없는 영역을 수집 대상에서 뺄 때 씁니다.
꼭 주의할 점
- Disallow: / 는 사이트 전체 수집을 막습니다. 개발 중에 걸어둔 것을 지우지 않는 실수가 흔합니다.
- robots.txt는 보안 수단이 아닙니다. 파일 자체가 공개되어 있습니다.
- 검색결과에서 빼고 싶은 페이지는 robots.txt가 아니라 noindex로 처리해야 합니다. 수집이 막히면 noindex를 읽지 못합니다.
확인하는 법
브라우저에서 내도메인/robots.txt 를 열어 내용이 보이는지 확인하고 Search Console에서 수집 관련 오류가 없는지 봅니다.
자주 쓰는 지시어
| 지시어 | 뜻 |
|---|---|
| User-agent | 규칙을 적용할 검색로봇 이름. * 는 모든 로봇을 뜻합니다. |
| Disallow | 수집하지 말아야 할 경로. 비워두면 막는 것이 없습니다. |
| Allow | Disallow로 막은 경로 안에서 예외로 허용할 경로 |
| Sitemap | 사이트맵 주소. https부터 시작하는 전체 주소로 적습니다. |
상황별 예시
워드프레스 사이트에서 흔히 쓰는 형태입니다. 관리자 영역은 막고 화면 동작에 필요한 파일 하나는 허용합니다.
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap.xml
쇼핑몰이라면 장바구니나 사이트 내부 검색 결과처럼 검색에 나올 필요가 없는 경로를 막는 경우가 많습니다.
User-agent: * Disallow: /cart Disallow: /search
robots.txt와 noindex는 다릅니다
| 방법 | 하는 일 | 쓰는 곳 |
|---|---|---|
| robots.txt Disallow | 검색로봇이 페이지를 읽지 못하게 막습니다. 다른 곳에 링크가 있으면 주소만 검색에 보일 수 있습니다. | 관리자 영역 · 장바구니처럼 읽을 필요가 없는 곳 |
| noindex | 페이지는 읽게 하되 검색 결과에는 넣지 말라고 알립니다. | 감사 페이지 · 테스트 페이지처럼 검색에서 빼고 싶은 곳 |
점검 체크리스트
- 파일 위치가 도메인 바로 아래(내주소/robots.txt)인지
- 파일 이름이 소문자 robots.txt 인지
- 하위 도메인(blog.내주소 등)은 각자 자기 robots.txt가 필요하다는 점
- 개발할 때 넣어둔 Disallow: / 가 남아 있지 않은지
- CSS · 자바스크립트 · 이미지 폴더를 막고 있지 않은지
자주 묻는 질문
robots.txt가 없으면 문제인가요
없어도 수집은 되지만 sitemap 위치를 알려주는 용도로 만들어두는 것이 좋습니다.
Disallow하면 검색결과에서 사라지나요
반드시 그렇지는 않습니다. 수집만 막을 뿐 다른 곳의 링크로 주소가 노출될 수 있습니다.
네이버도 robots.txt를 보나요
네 네이버 검색로봇도 robots.txt 규칙을 확인합니다. 서치어드바이저에서 수집 여부를 점검할 수 있습니다.
CSS나 자바스크립트 파일을 막아도 되나요
막지 않는 것이 좋습니다. 구글은 이 파일들을 읽어 실제 화면을 그려보고 페이지를 이해하기 때문에 막으면 휴대폰 화면 판단 등에 문제가 생길 수 있습니다.
수정하면 바로 반영되나요
구글은 robots.txt를 보통 하루 정도 저장해두고 쓰기 때문에 고친 내용이 반영되기까지 시간이 걸릴 수 있습니다.
AI 서비스의 수집 로봇만 막을 수 있나요
로봇 이름별로 User-agent 규칙을 따로 적어 막을 수 있습니다. 다만 규칙을 따르는지는 각 서비스에 달려 있고 막으면 그 서비스의 검색 답변에서 참고되지 않을 수 있으니 목적을 정하고 결정하세요.
이 글은 일반적인 SEO 정보이며 특정 순위나 결과를 보장하지 않습니다. 검색 도구의 화면과 메뉴 이름은 바뀔 수 있습니다.