web scraping 썸네일형 리스트형 파이썬으로 JavaScript 웹 크롤링하고 싶을 땐, Playwright 웹 페이지 크롤링은 정적 HTML 데이터를 다루는 requests나 BeautifulSoup만으로도 충분한 경우가 많습니다. 하지만 JavaScript로 동적으로 렌더링되는 콘텐츠를 스크래핑하려면 추가적인 도구가 필요합니다. 여기서 Playwright가 강력한 해결책으로 등장합니다.최근에 뉴스를 스크래핑할일이 있어서 파이썬으로 구현하려 하는데, request로 받아오니 이게뭐야! 암것도 못받아오더라고요? 급하게 print를 여기저기 찍어봤는데, requestbody가 아래처럼 javascript로 찍여있더라고요.이렇게 javascript로 가져와서 브라우저에서 렌더하는 Client Side Render형 페이지들은 requests + bs4 라이브러리 만으로 안될때가 많죠 보통 많은 분들이 셀레니움을 .. 더보기 이전 1 다음
