Python爬取抖音小视频

爬取抖音小视频

本项目使用到mitmproxy 及airtest
主要实现功能：

1. 自动化提取抖音小视频链接–使用airtest及mitmproxy
2. 将链接存入redis实现分布式
3. 使用wget下载抖音小视频

---

mitmproxy 安装

sudo pip install mitmproxy -i https://pypi.douban.com/simple

1. 在同一局域网在手机上设置代理：代理的ip为部署了mitmproxy的主机ip，端口默认为8080。
2. 在设置好代理后在浏览器中打开，http://mitm.it/ 这个网址下载相应的证书进行安装。
3. 测试：打开终端，输入mitmproxy即进入mitmproxy界面，使用手机访问页面即可在在mitmproxy上捕捉到信息。

   安装airtest及 pocoui库

   官方链接

   sudo pip install airtest -i https://pypi.douban.com/simple
   sudo pip install pocoui -i https://pypi.douban.com/simple

执行程序

• 进行捕获url

  mitmdump -s douyin.py|python spider.py

• 查看手机设备号

  adb devices -l

• 自动化刷新抖音视频

  airtest run /path/airtest1.air --device Android:手机设备号

源码开源地址

赏

谢谢你请我吃鸡

微信