@nitpicker/crawler
v0.4.3
Published
Web crawler engine with headless browser rendering and archive storage
Readme
@nitpicker/crawler
ヘッドレスブラウザによる Web クローラーエンジン。
概要
Puppeteer を使用して Web サイトをクロールし、各ページのメタデータ・リンク構造・ネットワークリソース・レンダリング後 HTML スナップショットを SQLite ベースのアーカイブ(.nitpicker)に保存します。
このパッケージは Nitpicker モノレポの内部パッケージです。単体での利用は想定していません。
ライセンス
Apache-2.0
