爬虫之puppeteer使用日志

2019-04-05

Puppeteer介绍

Puppeteer 翻译是操作木偶的人，利用这个工具，我们可以实现一个操作页面的人
Puppeteer 是一个Nodejs的库，支持调用Chrome的API来操纵web。相比于Selenium或是PhantomJS，它最大的特点就是它的操作DOM可以完全在内存中进行模拟既在V8引擎中处理而不打开浏览器，而且关键是这个是Chrome团队在维护，会拥有更好的兼容性和前景。

中文文档：https://zhaoqize.github.io/puppeteer-api-zh_CN/#/

Puppeteer 的用处

利用网页生成PDF、图片
爬取SPA(single page web application,SPA)应用，并生成预渲染内容（即“SSR”服务端渲染）
自动化表单提交，UI测试、键盘输入等
帮你创建一个最新的自动化测试环境（chrome），可以直接在此运行测试用捕获站点的时间线，以便追踪你的网站，帮助分析网站性能问题。

安装Puppeteer 指南

使用的操作系统是环境优美的 ArchLinux
直接跳坑快速安装（因为在安装过程中会下载chromium，需要梯子，所以推荐下面方式安装，简单快捷）
1
2
npm install -g cnpm --registry=https://registry.npm.taobao.org
cnpm i puppeteer

测试：

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://www.baidu.com');
  await page.screenshot({path: 'baidu.png'});

  await browser.close();
})();

测试运行时候报错指南：

1
2

(node:11491) UnhandledPromiseRejectionWarning: Error: Failed to launch chrome!
[11501:11501:0405/154651.537429:FATAL:zygote_host_impl_linux.cc(116)] No usable sandbox! Update your kernel or see https://chromium.googlesource.com/chromium/src/+/master/docs/linux_suid_sandbox_development.md for more information on developing with the SUID sandbox. If you want to live dangerously and need an immediate workaround, you can try using --no-sandbox.

从中可以清楚发现需要报错原因是chrome使用了sandbox，为了保护主机环境免受不信任web内容侵害，chrome使用了多层沙盒。
如果您完全信任chrome打开的内容，就可以使用–no-sandbox

1	const browser = await puppeteer.launch（{args ： [ ' - no-sandbox '，' - disable-setuid-sandbox ' ]}）;

完整代码：

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch({args: ['--no-sandbox', '--disable-setuid-sandbox']});
  const page = await browser.newPage();
  await page.goto('https://www.baidu.com');
  await page.screenshot({path: 'baidu.png'});

  await browser.close();
})();

puppeteer.launch() 启动流浪器实例
browser.newPage()创建一个新页面
page.goto() 进入指定页面
page.screenshot 截图

const puppeteer = require('puppeteer');

(async () => {
  const browser = await (puppeteer.launch({
    // 若是手动下载的chromium需要指定chromium地址, 默认引用地址为 /项目目录/node_modules/puppeteer/.local-chromium/
	  //executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium',
//禁用沙盒
    args: ['--no-sandbox', '--disable-setuid-sandbox'],
    //设置超时时间
    timeout: 15000,
    //如果是访问https页面 此属性会忽略https错误
    ignoreHTTPSErrors: true,
    // 打开开发者工具, 当此值为true时, headless总为false
    devtools: false,
    // 关闭headless模式, 不会打开浏览器
    headless: false
  }));
  const page = await browser.newPage();
  await page.goto('https://www.jianshu.com/u/40909ea33e50');
  await page.screenshot({
    path: 'jianshu.png',
    type: 'png',
    // quality: 100, 只对jpg有效
    fullPage: true,
    // 指定区域截图，clip和fullPage两者只能设置一个
    // clip: {
    //   x: 0,
    //   y: 0,
    //   width: 1000,
    //   height: 40
    // }
  });
  browser.close();
})();