반응형
webcrawling
-
Selenium으로 크롤링하기PROGRAMMING/Python 2021. 5. 11. 14:37
크롤링은 크게 두가지 방법을 사용해서 행할 수 있다. + 둘 다 쓸 수도 있다. BeautifulSoup 모듈을 이용하는 방법 (정적 크롤링) Selenium 모듈을 이용하는 방법 (동적 크롤링) 기본적으로는 정적 크롤링이 HTML DOM parsing을 통해 (특히 웹 프로그래밍을 해본 사람이라면) 리소스를 얻을 수 있기 때문에 더 쉽다. 하지만 순수 HTML이 아닌 JS로 이루어진 웹 페이지라면 BeautifulSoup만으로는 크롤링이 어렵다. 이 때 사용할 수 있는 동적 크롤링인 Selenium 모듈에 대한 사용법을 알아보자. Selenium 설치 및 환경 구축 1. Selenium 모듈을 설치한다. pip install selenium 2. Chrome 정보를 확인한 뒤, 여기에서 ChromeDr..