2022년 현재, 최고의 웹 스크래핑 도구는 무엇인가요? (news.ycombinator.com)

2022년 현재, 최고의 웹 스크래핑 도구는 무엇인가요? 라고 질문을 했고요..

아래는 HN의 질문에 대한 답변들입니다.

• Playwright : JS실행이 필요한 웹페이지가 많아져서, 브라우저 자동화 도구가 편함
• Beautiful Soup : 다양한 스크래핑 앱 만들기 편한 파이썬 패키지
• 쉘에서 cURL + pup(마크업)/cskit(CSV)/jq(JSON)/psql(DB)
• Browserflow : 웹 브라우저 기반의 작업 자동화 도구
• curl-impersonate : 브라우저 처럼 웹사이트를 가져오는 포크버전
• Helium : 더 사용하기 편한 Selenium-Python
• undetected_chromedriver : CloudFlare 봇 체크를 통과하는 커스텀 Selenium Chromedriver
• estela : 쿠버네티스에서 동작하는 elastic web scraping cluster

웹 스크래핑 도구를 사용하실때 참고하시면 좋을것 같아서 공유합니다.

 

오늘의 블로그는 여기까지고요..
항상믿고 봐주셔서 감사합니다.