Crawlee - 웹스크래핑 & 브라우저 자동화 라이브러리 (crawlee.dev)

Crawlee - 웹스크래핑 & 브라우저 자동화 라이브러리를 소개합니다.

홈페이지에서는 Crawlee를 아래와 같이 소개하고 있군요..
Crawlee is a web scraping and browser automation library

한마디로, Crawlee 웹스크래핑 & 브라우저 자동화 라이브러리라고 머릿속에 넣어두시면 좋을것 같네요..

아래는 간단해 예제고요.. 개인적으로 참고해보시면 좋을것 같네요..

 

Crawlee의 특징에 대해서 간단하게 정리하자면 아래와 같고요..

• Node.js용 빠르고 안정적인 크롤러 작성 라이브러리
• Puppeteer & Playwright(헤드리스 브라우저 크롤링) + CheerIO/JSDOM(Raw HTTP 크롤링)
• 브라우저 헤더 & TLS 핑거프린트를 모방하여 실제 트래픽처럼 보이게 함
• 프록시 로테이션 자동화 로 대규모 확장 가능
• 작업은 큐 처리되며 파일, 스크린샷, JSON 결과등을 쉽게 파일 또는 DB에 저장

자세한 내용은 아래 홈페이지를 참고부탁드릴께요~

오늘 블로그는 여기까지고요..
항상 믿고 봐주셔서 감사합니다.