Pappet is a command-line tool to crawl websites using puppeteer. It allows you to crawl multiple pages in parallel and recursively. Take screenshots or create PDFs in seconds.
Install
npm i -g pappet
Usage
Usage: pappet [OPTION]... [URL]...
Options:
-
公司项目需要将同一个链接的请求打到同一台机器上;就是pm2(cluster)集群解决方案中从某个进程发起的请求将来要能回到这个进程中运用,第一个想到的当然是nginx的ip_hash了,这算是成本最低的方案了。
upstream io_nodes {
ip_hash;
server 127.0.0.1:3131;
server 127.0.0.1:3132;
server 127.0.0.1:3133;
server 127.0.0.1:3134