robots.txt 파일은 무엇입니까?

사이트를 만들 때 Google 또는 다른 검색 엔진에있을 가능성이 큽니다.운 좋게도, 그들은 자신의 봇을 가지고 있거나 "겉옷"인터넷을 인덱스 사이트로 정련시킨다.이 봇은 텍스트 파일을 통해 사이트와 상호 작용하는 방식에서 제어 할 수 있습니다. 이것은 robots.txt 파일.이 파일에는 사이트를 방문하는 봇이 따라야 할 규칙이 포함되어 있습니다.이것은 일반적으로 좋은 일이지만 잘못 설정하면 등급에 대한 나쁜 일이 될 수 있습니다.

robots.txt 파일은 어떻게 생겼습니까?

다음은이 파일이 당신을 위해 어떻게 보일 수 있는지에 대한 몇 가지 다른 예입니다.

모든 봇이 전체 액세스 허용

사용자 - 에이전트 : * DISALLED :

봇에 대한 모든 액세스를 차단합니다

사용자 - 에이전트 : * 허용 : /

크롤링 지연을 10 초로 설정하십시오

사용자 - 에이전트 : * 크롤링 지연 : 10

크롤링 지연을 10 초 동안 설정하면 이러한 검색 엔진을 제한하여 웹 사이트를 색인합니다.제한된 수준의 자원이 제한되어 있고 페이지가 갑자기 웹 트래픽을 처리하도록 최적화되어 있지 않으면 클라우드 VPS 서버를 업그레이드하고 더 많은 자원을 업그레이드하고 크롤링 지연을 추가하는 것을 고려할 수 있습니다.

그것들은 robots.txt 파일에 대한 매우 일반적인 템플릿의 몇 가지입니다.이를 사용하여 원하는 경우 단일 폴더 또는 단일 파일에 대한 액세스를 차단할 수 있습니다.robots.txt 파일 내의 각 항목에는 사용자 에이전트 필드가 옆에있는 사용자가 있습니다.별표는 모두에 적용되는 와일드 카드를 나타냅니다.특정 봇에 대해 설정하려는 경우이 필드 에이 필드에 넣을 것입니다.그 이후의 모든 선은 새로운 것을 지정할 때까지 해당 사용자 에이전트에 적용됩니다.예를 들어, Google의 경우, 사이트의 / tmp 폴더를 차단하지만 다른 모든 봇의 경우 모든 폴더가 허용됩니다 (/ tmp 폴더 포함).

사용자 - 에이전트 : GoogleBot Ditallow : / TMP / 사용자 - 에이전트 : * DISALLER :

보시다시피,이를 사용하여 봇이 개인 파일 인덱싱 또는 불필요한 디렉토리로 인덱싱되지 않도록 할 수 있습니다.인터넷에 존재하는 봇을 암기하지만 다양한 자원을 찾을 수 있습니다.

robots.txt가 사이트의 크롤러기에 영향을 줄 수 있지만 액세스를 방지 할 수있는 많은 것들이 있습니다.다른 옵션에는 크롤링 지연 옵션이 포함됩니다.이 옵션을 사용하여 사이트의 페이지를 크롤링하는 것 사이에 봇이 지연되도록 할 수 있습니다.

궁금한 점이 있거나 도움이 필요하면 실시간 채팅을 통해 문의하거나 기술 지원 팀과 함께 티켓을 제출하십시오.