robots.txt는 접근 안내
`robots.txt`는 검색 엔진 크롤러에게 어떤 경로를 허용하거나 제한할지 알려주는 파일입니다. 공개 정보 사이트라면 대부분의 페이지를 허용하는 단순한 설정으로 충분합니다.
중요한 점은 robots.txt가 보안 장치가 아니라는 것입니다. 숨겨야 하는 정보는 애초에 공개 저장소나 정적 사이트에 올리지 않아야 합니다.
sitemap.xml은 페이지 목록
`sitemap.xml`은 검색 엔진이 사이트의 주요 URL을 발견하도록 돕는 파일입니다. 글 수가 많지 않아도 사이트맵을 제공하면 Search Console에서 제출하고 상태를 확인하기 쉽습니다.
Astro는 sitemap 통합 기능을 통해 빌드 시 사이트맵을 만들 수 있습니다. 이때 사이트의 기준 URL이 정확해야 하므로 설정 파일의 `site` 값을 실제 도메인으로 맞춰야 합니다.
Search Console과 함께 보기
robots.txt와 sitemap.xml을 만들었다고 바로 검색 노출이 보장되는 것은 아닙니다. Google Search Console에 도메인을 등록하고 사이트맵 제출, 색인 상태, 페이지 오류를 함께 확인해야 합니다.
특히 새 도메인은 색인까지 시간이 걸릴 수 있으므로, 심사 직전에 급하게 만드는 것보다 먼저 공개해 안정적으로 접근되는지 확인하는 편이 좋습니다.