[특허] 하이브리드 크롤링을 통해 데이터를 수집하는 방법, 장치 및 그를 이용한 서버

◆ 출원일 : 2019-01-30

◆ 등록일 : 2019-02-27

◆ 등록번호 : 10-1954813

요약 : 본 발명에 따르면, 하이브리드 크롤링을 통해 데이터를 수집하는 방법에 있어서, OS에 설치되어 데이터를 수집하는 소프트웨어인 설치형 크롤러 및 SaaS(Software as a Service) 형태의 웹서비스에 해당하는 클라우드형 크롤러 중 어느 하나가 선택되고 이후 다른 하나로 전환될 수 있는 상태에서, 컴퓨팅 장치는 상기 설치형 크롤러를 컨트롤하고, 클라우드 서버는 상기 클라우드형 크롤러를 컨트롤하며, 상기 수집될 데이터가 포함된 웹 사이트는 적어도 제1 웹 페이지 및 제2 웹 페이지를 포함하고, 상기 제1 웹 페이지의 구조와 상기 제2 웹 페이지의 구조가 서로 대응된다고 할 때, 상기 제1 웹 페이지 상에 디스플레이되는 전체 데이터 중 제1 소정 데이터가 선택되고 이를 수집하면, 상기 컴퓨팅 장치 또는 상기 클라우드 서버가, 상기 제1 웹 페이지 상에서 상기 제1 소정 데이터의 경로 정보를 획득하는 단계; 상기 컴퓨팅 장치 또는 상기 클라우드 서버가, 상기 제2 웹 페이지 상에서 상기 경로 정보에 대응하는 제2 소정 데이터를 수집하는 단계; 및 상기 컴퓨팅 장치 또는 상기 클라우드 서버가, 상기 제1 소정 데이터 및 상기 제2 소정 데이터를 포함하는 수집 데이터를 데이터베이스에 저장하는 단계를 포함하는 방법을 제시한다.