[크롤링]3. selenium 라이브러리

크롤링 03_selenium

1. selenium: 크롤링 자동화(제어) 를 도와주는 라이브러리

-인터넷 검색과정을 대신 해주는 역할

-크롤링 자동화가 필요한 이유: 동적페이지는 사용자에 따라 맞춤화면이 출력되어야 하기

때문에

 

2. selenium 라이브러리 사용하기:

● selenium 라이브러리 설치하기: !pip install selenium

 

● webdriver 라이브러리

-from selenium import webdriver as wb

-웹브라우저 제어하는 역할(웹브라우저≠웹 페이지)

-웹브라우저에 대한 모든 정보를 담고 있음

 

● html 문서에서 태그와 선택자를 찾기 위한 라이브러리(By)

from selenium.webdriver.common.by import By

 

● Keys 라이브러리: 웹을 통해 값을 입력하기 위한 라이브러리(컴퓨터용 키보드)

-from selenium.webdriver.common.keys import Keys

-단어를 입력하거나 Enter, Ctrl 등의 키를 사용할 수 있음

 

3. 크롬드라이버 설치하기

● 크롬드라이버가 자주 업데이트 되므로 최신버전 유지해야 함

● 최신버전 확인하기: 크롬-설정-chrome 정보

 

● 크롬드라이버 다운로드

크롬설정에서 확인한 버전과 일치하는 버전 다운로드(윈도우용)

드라이버 파일-파이썬 폴더에 업로드(최신버전 업데이트될 때마다 새로 업로드해야 함)

 

[검색하기]

1. 크롬창 열기

● 크롬창 열기: : webdriver명.Chrome()

driver=wb.Chrome()

 

● 크롬창에서 원하는 페이지 열기: driver.get(url)

url='https://www.naver.com/'

driver.get(url)

 

2. 검색창 위치 찾기

● By 라이브러리: html 문서의 태그 및 선택자를 찾기 위한 라이브러리

from selenium.webdriver.common.by import By

 

● 검색창 선택자 찾기: driver.find_element(By.선택자. ‘선택자명’)

search=driver.find_element(By.ID, 'query')

*크롬드라이버를 통해 실행된 크롬창을 열고 있는 채로 실행해야 함

 

3. 검색어 입력하기: send_keys(‘단어’)

-search.send_keys('하이라이트 노래')

→직접 입력하지 않아도 실행창에서 검색어 입력됨

 

4. 검색하기

1)검색버튼 클릭: .click()

● 검색버튼 찾기: btn=driver.find_element(By.ID, 'search-btn')

● 검색버튼 누르기: btn.click()

 

2)Enter 누르기: .send_keys(Keys.키 이름)

● 검색창 찾기: driver.find_element(By.선택자, ‘선택자명’)

search=driver.find_element(By.ID, 'query')

 

● 검색어 입력하기: send_keys(‘검색할 단어’)

search.send_keys('하이라이트 노래')

 

● 컴퓨터용 키보드 사용하기: search.send_keys(Keys.원하는 키 이름)

search.send_keys(Keys.ENTER)

 

5. 크롬창 닫기: driver.close()