Posts

Showing posts with the label 크롤링

PhantomJS와 CasperJS 사용법

Image
프론트앤드 개발을 하거나 웹자동화에 관심이 있는 분이라면 PhantomJS 와 CasperJS 를 많이 들어봤을 것입니다. 저도 이번에 크롤링 공부를 하면서 알게되어 잊어버리지 않기위해 간단하게 정리를 하려고 합니다. PhantomJS (팬텀JS) 팬텀JS는 화면이 없는 브라우저라고 보면 됩니다. 화면이 없는 브라우저를 어따가 써먹지? 라고 생각할 수도 있겠지만 웹프로그램으로 웹자동화를 개발하기에는 더없이 편리한 기능을 제공하고 있습니다. 입력상자에 값을 입력한다던가 마우스로 버튼을 클릭한다던가 특정 값을 확인한다던가 하는 일련의 작업(이벤트)들을 커맨드라인 의 명령어나 javascript 코드로 처리를 할 수가 있습니다. 예를들면 학교홈페이지에 로그인을 하여 공지사항 페이지로 이동하고 학생들에게만 공지한 공지사항 정보를 발췌하여 리스트에 보여주는 일련의 작업들을 PhantomJS를 통해 웹자동화 로 구현하여 처리를 할 수가 있게 됩니다. 물론 이런 기능 말고도 웹 화면을 캡쳐하거나 WebApp을 테스트 하는 등.. 다양한 용도로 사용되는것이 PhantomJS 입니다. 설치 설치는 npm으로 간단하게 설치를 할 수 있습니다. 로컬에 설치를 해도 되지만 일반적으로 Global 로 설치를 많이 합니다. $ npm install -g phantomjs 정상적으로 잘 설치가 되었는지 확인하기 위해서 설치버전을 검색해 봅니다. $ phantomjs -v 2.1.1 리눅스(CentOS)를 사용한다면 한글폰트의 사용을 위해 아래의 폰트관련 패키지를 별도로 설치해 주어야 합니다. $ sudo yum install freetype $ sudo yum install fontconfig CasperJS (캐스퍼JS) CasperJS 는 PhantomJS 나 SlimerJS 를 좀더 쉽고 편하게 사용하기 위한 기능들을 모아놓은 라이브러리라고 보시면 됩니다. 그래서 CasperJS 를 사용하기 위해서는 PhantomJS나 SlimerJS가...