호돌찌의 AI 연구소
article thumbnail

웹에 있는 정보들을 긁어오는 행위를 크롤링이라고 간단히 이야길 합니다. 크롤링에 있어 다양한 방식으로 자료를 긁어올 수 있습니다. 다양한 방식 중 파이썬에서 제일 대표적인 것은 BeautifulSoup방법이 대표적이지만 이 방법은 서버에서 접근이 막혀 우회하는 방식을 고려해야 하거나 팝업 정보들을 받거나 불편한 경우를 맞닥뜨리게 됩니다. 이 방식은 직접 사이트에 Request를 하는 대표적인 방식입니다. 하지만 Selenium이라는 도구는 정확히 크롤링을 위한 기술은 아니지만  사람이 마우스, 키보드의 동작대로 움직여서 정보를 접근 및 수집하는 목적인 도구라고 생각하시면 됩니다. 

 

설치하는 과정은 다음과 같습니다. 

 

1. Chrome Driver 설치

https://chromedriver.chromium.org/downloads

 

ChromeDriver - WebDriver for Chrome - Downloads

Current Releases If you are using Chrome version 93, please download ChromeDriver 93.0.4577.15 If you are using Chrome version 92, please download ChromeDriver 92.0.4515.107 If you are using Chrome version 91, please download ChromeDriver 91.0.4472.101 For

chromedriver.chromium.org

본인이 쓰고 있는 크롬버전을 확인하여 같은 것을 설치하여 줍니다. 버전 확인은 아래 사진과 같은 과정으로 확인을 할 수 있습니다.

 

제 버전이 92.0.4515 인것을 확인하였습니다. 

 

해당 버전에 맞는 드라이버를 누르시고, 

 

본인 운영체제에 맞게 설치를 합니다.

 

python이 있는 위치에 지정합니다. 저는 C 드라이브에 chromedriver 폴더를 생성하시고 아래처럼 압축을 풀었습니다.

 

 

2. Selenium 설치

conda나 pip으로 설치합니다. 

 

pip install selenium

 

3. 확인하기

아래처럼 실행을 시켜줍니다. 1번에서 설치한 chromedriver.exe 실행파일을 넣어주시면 됩니다. 

 

from selenium import webdriver

options = webdriver.ChromeOptions()
driver = webdriver.Chrome('C:/chromedriver/chromedriver.exe', options = options)
driver.get('http://naver.com')

 

네이버에 접속이되며 "Chrome이 자동화된 테스트 소프트웨어에 의해 제어되고 있습니다."라는 문구가 뜹니다. 

 

글 읽어주셔서 감사합니다. 

profile

호돌찌의 AI 연구소

@hotorch's AI Labs

포스팅이 도움이 되셨다면 "좋아요❤️" 또는 "구독👍🏻" 해주세요!