Scrapy+Redis搭建分布式爬虫

环境 ArchLinux Pycharm

一、安装scrapy_redis

1
2
3
cd py
pipenv shell
pip3.7 install scrapy_redis

二、启动Redis、Mongodb服务

1
2
sudo systemctl start mongondb.service
sudo systemctl start redis.service

三、修改爬虫文件

让爬虫文件继承父类RedisSpide并添加redis_key = ‘blogspider’

1
2
3
4
5
6
class BlogSpiderSpider(RedisSpider):
    name = 'blog_spider'
    allowed_domains = ['www.kingname.info']
    redis_key = 'blogspider'
    start_urls = ['http://www.kingname.info/archives/']
    host='http://www.kingname.info'

more >>

展开全文 >>

hexo更换域名

  • 在hexo目录下的source文件中加入一个文件 名为CNAME, 里面写你的域名 然后提交, 以后就不会出现这个问题了

arch 查看软件列表命令：pacman -Qnt
删除无用软件命令：pacman -Qdt

展开全文 >>

PhantomJS

一、官网下载PhantomJS

1
2
wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
tar xvjf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/share/

二、现在简单地创建一个软链接phantomjs二进制文件到系统bin dirctory如下：

1
sudo ln -sf /usr/local/share/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

苟利<br><br>国家生死已<br>岂因祸福趋避之～