기타내용

crawling 이란?

k9e4h 2016. 11. 2. 18:24
크롤링[crawling] : 무수히 많은 컴퓨터에 분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술. 어느 부류의 기술을 얼마나 빨리 검색 대상에 포함시키냐 하는 것이 우위를 결정하는 요서로서 최근 웹 검색의 중요성에 따라 발전되고 있다.

웹 크롤링 : 웹 크롤링은 콘텐츠를 수집하기 위해 자동으로 웹사이트를 방문하는 프로세스다.

웹 크롤러 : 자동으로 웹 페이지를 방문해 콘텐츠를 가져오고 URL을 추출해 낸다. 웹 크롤러의 다른 이름은 웹 스파이더, 봇 또는 자동화 색인기 이다.


구글의 크롤링 http://googlekoreablog.blogspot.kr/2008/09/blog-post_18.html

크롤링 해보기 https://vnthf.github.io/blog/crawlling/


검색 엔진은 색인된 데이터를 사용자가 검색해서 사용할 수 있도록 한다. 웹 사이트를 크롤링하여 애플리케이션에 이벤트나 트리거로 활용할 수 있다. 저작권 위반 사이트 감시가 가능하다.


반응형

'기타내용' 카테고리의 다른 글

Github Page 만들기  (0) 2016.11.04
Load Balancing 이란?  (0) 2016.11.04
DB자격증 / SQLP  (0) 2016.10.04
오픈소스란  (0) 2016.09.08
용어정리 (2016.07.19 - 추가중)  (0) 2016.08.19