대부분의 검색 포털 사이트는
검색 로봇이란 것을 가지고 있습니다.
웹사이트를 무작위로 여러 곳을 방문하여
방문한 사이트의 정보를 가져가 수집을 하고 수집한 정보를 저장합니다.
그리고 특정 키워드를 검색하여 일치하는 것이 있을 때
저장한 정보를 보여주는 방식입니다.
대부분 호스팅은 로봇의 접근을 특별히 제한하지 않고 있으며
필요하신 경우 로봇의 접근을 제한할 수 있는 방법인
robots.txt 파일 또는 HTML 파일의 head 태그 부분에 메타 태그를 활용하는 방법이 있습니다.
검색 로봇을 제어하는 방법에 대해서는
아래의 링크에서 자세히 설명되어 있으니
참고하시는 것이 좋겠습니다. ^^