동적 페이지 웹크롤링

동적 페이지는 selenium으로만 웹크롤링이 가능한 줄 알았다.

하지만 타이밍에 따라 페이지 정보를 가져오지 못하거나 before 태그들 같은 경우 간혹 실패하거나 가져오지 못하는 경우가 생긴다.

그래서 크롬 개발자 도구에서 찾다 보니 해결책이 보였다.

네이버 데이터랩에서 키워드 검색을 위해 조회하고 개발자 도구를 열어서 네트워크 부분을 보면 우측과 같이 된다.

이 부분 까지는 requests로 가져올 수 있지만 그담 랭크들 정보는 가져올 수 없다. 그래서 cURL을 파이썬 코드로 변환 시킨다.

복사하면

이런 코드가 나오는데 curl을 파이썬 코드로 바꿔주는 많은 사이트들이 있다.

curl을 변환하면

data 부분에서 page를 보면 1로 되어 있는데 2로 주면 그다음 랭크 21~40 정보를 가져올 수 있다.

기간도 startDate 와 endDate를 조절 하면 된다.