주요 공개 기록

IT 위키에서 사용할 수 있는 모든 기록이 표시됩니다. 기록 종류나 사용자 이름(대소문자 구별) 또는 영향을 받는 문서(대소문자 구별)를 선택하여 범위를 좁혀서 살펴볼 수 있습니다.

• 2026년 5월 19일 (화) 15:24 라이언 토론 기여님이 Robots.txt 문서를 만들었습니다 (새 문서: robots.txt는 웹사이트 운영자가 웹 크롤러에게 특정 경로나 자원에 접근하지 말 것을 요청하기 위해 사용하는 텍스트 파일이다. 로봇 배제 프로토콜을 구현하는 대표적인 파일이며, 일반적으로 웹사이트의 루트 경로에 위치한다. == 개요 == robots.txt는 웹사이트의 크롤링 정책을 크롤러에게 알려주는 파일이다. 검색엔진 크롤러, AI 학습용 크롤러, 아카이브 봇...)