详解Scrapy Redis入门实战

简介

scrapy-redis是一个基于redis的scrapy组件,用于快速实现scrapy项目的分布式部署和数据爬取,其运行原理如下图所示。

scrapy-redis特性

分布式爬取

你可以启动多个共享同一redis队列的爬虫实例,多个爬虫实例将各自提取到或者已请求的requests在队列中统一进行登记,使得scheduler在请求调度时能够对重复requests进行过滤,即保证已经由某一个爬虫实例请求过的request将不会再被其他的爬虫实例重复请求。

分布式数据处理

将scrapy爬取到的items汇聚到同一个redis队列中,意味着你可以根据你的需要启动尽可能多的共享这个items队列的后处理程序。

scrapy即插即用组件

scheduler调度器 + duplication重复过滤器、item pipeline、基础spider爬虫

scrapy-redis示例

本文将以爬取京东所有图书分类下的图书信息为例对scrapy-redis的用法进行示例。

开发环境

  • python 3.7
  • redis 3.2.100

下面列举出了 python 中 scrapy-redis 所需要的各个模块及其版本:

  • redis 2.10.6
  • redis-py-cluster 1.3.6
  • scrapy-redis 0.6.8
  • scrapy-redis-cluster 0.4

在开发之前需要先安装好以上模块,以scrapy-redis-cluster模块为例,使用pip进行安装的命令如下:

pip install scrapy-redis-cluster # 安装模块
pip install scrapy-redis-cluster==0.4 # 安装模块时指定版本
pip install --upgrade scrapy-redis-cluster # 升级模块版本

创建项目

在windows命令行执行如下命令完成项目创建:

d:\scrapy>scrapy startproject jd_book

执行完该命令后,将会在当前目录下创建包含下列内容的 jd_book 目录:

定义item

在items.py中把我们将要爬取的图书字段预先定义好。

# -*- coding: utf-8 -*-

import scrapy

class jdbookitem(scrapy.item):
  b_cate = scrapy.field() # 图书所属一级分类名称
  s_cate = scrapy.field() # 图书所属二级分类名称
  s_href = scrapy.field() # 图书所属二级分类地址
  book_name = scrapy.field() # 名称
  book_img = scrapy.field() # 封面图片地址
  book_author = scrapy.field() # 作者
  book_press = scrapy.field() # 出版社
  book_publish_date = scrapy.field() # 出版日期
  book_sku = scrapy.field() # 商品编号
  book_price = scrapy.field() # 价格

创建spider

在windows命令行执行如下命令完成spider创建:

d:\scrapy\jd_book>cd jd_book
d:\scrapy\jd_book>scrapy genspider jdbook jd.com

执行完该命令后,将会在 jd_book 的 spiders 目录下生成一个 jdbook.py 文件 :

 jdbook.py的完整爬虫代码如下。

# -*- coding: utf-8 -*-
import scrapy
import json
import urllib
from copy import deepcopy
from jd_book.items import jdbookitem

class jdbookspider(scrapy.spider):
  name = 'jdbook'
  allowed_domains = ['jd.com','3.cn']
  start_urls = ['https://book.jd.com/booksort.html']

  def parse(self, response): # 处理图书分类页
    dt_list = response.xpath("//div[@class='mc']/dl/dt") # 提取一级分类元素
    for dt in dt_list:
      item = jdbookitem()
      item["b_cate"] = dt.xpath("./a/text()").extract_first() # 提取一级分类名称
      em_list = dt.xpath("./following-sibling::dd[1]/em") # 提取二级分类元素
      for em in em_list:
        item["s_cate"] = em.xpath("./a/text()").extract_first() # 提取二级分类名称
        item["s_href"] = em.xpath("./a/@href").extract_first() # 提取二级分类地址
        if item["s_href"] is not none:
          item['s_href'] = "https:" + item['s_href'] # 补全二级分类地址
          yield scrapy.request(item['s_href'], callback=self.parse_book_list, meta={"item": deepcopy(item)})

  def parse_book_list(self, response): # 处理二级分类下图书列表页
    item = response.meta['item']
    li_list = response.xpath("//div[@id='plist']/ul/li") # 提取所有的图书元素
    for li in li_list:
      item["book_img"] = li.xpath(".//div[@class='p-img']//img/@data-lazy-img").extract_first()
      if item["book_img"] is none:
        item["book_img"] = li.xpath(".//div[@class='p-img']//img/@src").extract_first()
      if item["book_img"] is not none:
        item["book_img"] = "https:"+item["book_img"]
      item["book_name"] = li.xpath(".//div[@class='p-name']/a/em/text()").extract_first().strip()
      item["book_author"] = li.xpath(".//span[@class='author_type_1']/a/text()").extract()
      item["book_press"] = li.xpath(".//span[@class='p-bi-store']/a/@title").extract_first()
      item["book_publish_date"] = li.xpath(".//span[@class='p-bi-date']/text()").extract_first().strip()
      item["book_sku"] = li.xpath("./div/@data-sku").extract_first()
      price_url = "https://p.3.cn/prices/mgets?skuids=j_{}".format(item["book_sku"]) # 提取图书价格请求地址
      yield scrapy.request(price_url, callback=self.parse_book_price, meta={"item": deepcopy(item)})

    # 提取列表页下一页地址
    next_url = response.xpath("//a[@class='pn-next']/@href").extract_first()
    if next_url is not none:
      next_url = urllib.parse.urljoin(response.url, next_url)
      # yield scrapy.request(next_url,callback=self.parse_book_list,meta={"item":item})

  def parse_book_price(self, response):
    item = response.meta['item']
    item["book_price"] = json.loads(response.body.decode())[0]["op"]
    yield item

修改配置

在settings.py 中增加scrapy-redis相关配置。

# -*- coding: utf-8 -*-

bot_name = 'jd_book'

spider_modules = ['jd_book.spiders']
newspider_module = 'jd_book.spiders'

# crawl responsibly by identifying yourself (and your website) on the user-agent
user_agent = 'mozilla/5.0 (windows nt 6.1; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/71.0.3578.98 safari/537.36'

# obey robots.txt rules
robotstxt_obey = false


######################################################
##############下面是scrapy-redis相关配置################
######################################################

# 指定redis的主机名和端口
redis_host = 'localhost'
redis_port = 6379

# 调度器启用redis存储requests队列
scheduler = "scrapy_redis.scheduler.scheduler"

# 确保所有的爬虫实例使用redis进行重复过滤
dupefilter_class = "scrapy_redis.dupefilter.rfpdupefilter"

# 将requests队列持久化到redis,可支持暂停或重启爬虫
scheduler_persist = true

# requests的调度策略,默认优先级队列
scheduler_queue_class = 'scrapy_redis.queue.priorityqueue'

# 将爬取到的items保存到redis 以便进行后续处理
item_pipelines = {
  'scrapy_redis.pipelines.redispipeline': 300
}

启动爬虫

至此京东图书项目就算配置完成了,你可以将项目部署到多台服务器中去,并使用如下命令来启动爬虫:

d:\scrapy\jd_book>scrapy crawl jdbook

爬取到的图书数据结构如下:

相应地,在redis数据库中同时生成了如下3个键:

其中,jdbook:requests 中保存了待爬取的request对象;jdbook:dupefilter 中保存了已经爬取过的request对象的指纹;jdbook:items中保存了爬取到的item对象。

 通过上述京东图书项目不难看出,scrapy-redis项目与普通的scrapy项目相比,除了在settings.py配置时额外增加了一些scrapy-redis的专属配置外,其他环节完全相同。

参考文章

到此这篇关于详解scrapy redis入门实战的文章就介绍到这了,更多相关scrapy redis入门内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com!

(0)
上一篇 2022年3月21日
下一篇 2022年3月21日

相关推荐