반응형

동적 크롤링 2

크롤링) Selenium을 이용하여 크롤링하기

Selenium을 이용하여 크롤링을 해보았습니다. 해먹남녀 사이트에서 크롤링으로 재료 검색을 하면 자동으로 5페이지까지 넘겨가며 음식 이름만을 크롤링 해오는 것이죠. 이걸 장고랑 연동해서 프론트엔드로 띄우고 싶은데.. 이제 이걸 연구해 봐야겠습니다. 일단 이 코드를 베이스로 원하는 데이터 형태로 파싱할 수도 있으나 일단은 print로 넘겼습니다. Beautifulsoup으로 태그를 찾고 xpath로 위치 지정하였습니다. www.github.com/SunkyeongLee/CrawlingWithPython SunkyeongLee/CrawlingWithPython Crawling the website with Python. Contribute to SunkyeongLee/CrawlingWithPython de..

파이썬 2020.05.11

크롤링) 크롬드라이버 버전 연동이 안될 때 해결방법

셀레니움으로 크롤링을 도전하려고 호기롭게 시작하였으나.. 항상 환경설정에 많은 시간을 뺏기고 애를 먹습니다.. 이래서 도커를 사용해야 하는가 봅니다. 분명 크롬 드라이버를 버전에 맞게 설치를 하였으나 이런 에러 메시지가 뜹니다. session not created: This version of ChromeDriver only supports Chrome version 81 크롬 버전은 URL 창에 chrome://version/을 검색하시면 첫 줄에서 확인하실 수 있습니다. 크롬 드라이버 다운받기 www.sites.google.com/a/chromium.org/chromedriver/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver ..

파이썬 2020.05.09
반응형