scrapy redis配置文件setting参数详解

scrapy项目 setting.py

#resis 设置

#使能redis调度器

scheduler = 'scrapy_redis.scheduler.scheduler'

#所有spider通过redis使用同一个去重过滤器

dupefilter_class = 'scrapy_redis.dupefilter.rfpdupefilter'

#不清除redis队列、这样可以暂停/恢复 爬取

#scheduler_persist = true

#scheduler_queue_class ='scrapy_redis.queue.priorityqueue' #默认队列，优先级队列
#备用队列。
#scheduler_queue_class ='scrapy_redis.queue.fifoqueue' #先进先出队列
#scheduler_queue_class ='scrapy_redis.queue.lifoqueue' #后进先出队列

#最大空闲时间防止分布式爬虫因为等待而关闭

#scheduler_idle_before_close = 10


#将抓取的item存储在redis中以进行后续处理。

item_pipelines = {
   'scrapy_redis.pipelines.redispipeline':300,
}

# the item pipeline serializes and stores the items in this redis key.
#item pipeline 将items 序列化 并用如下key名储存在redis中

#redis_items_key = '%(spider)s:items'

#默认的item序列化方法是scrapyjsonencoder，你也可以使用自定义的序列化方式

#redis_items_serializer = 'json.dumps'


#设置redis地址 端口 密码

redis_host = 'localhost'
redis_host = 6379

#也可以通过下面这种方法设置redis地址 端口和密码，一旦设置了这个，则会覆盖上面所设置的redis_host和redis_host

 redis_url = 'redis://root:redis_pass@xxx.xx.xx.xx:6379' 
 #root用户名，redis_pass:你设置的redis验证密码，xxxx:你的主机ip

#你设置的redis其他参数 custom redis client parameters (i.e.: socket timeout, etc.)
redis_params = {}


#自定义的redis客户端类
#redis_params['redis_cls'] = 'myproject.redisclient'

# if true, it uses redis ``zrevrange`` and ``zremrangebyrank`` operation. you have to use the ``zadd``
# command to add urls and scores to redis queue. this could be useful if you
# want to use priority and avoid duplicates in your start urls list.

#redis_start_urls_as_set = false

# 默认的redisspider 或 rediscrawlspider start urls key

#redis_start_urls_key = '%(name)s:start_urls'

#redis的默认encoding是utf-8，如果你想用其他编码可以进行如下设置：

#redis_encoding = 'latin1'

类scrapy_redis.spiders.redisspider使spider可以从redis数据库中读取url。redis队列中的url将被爬取，如果第一个请求产生更多请求，则spider将处理这些请求，然后再从redis中获取另一个url。

创建spider

from scrapy_redis.spiders import redisspider

class myspider(redisspider):
  name = 'myspider'

  def parse(self, response):
    # do stuff
    pass

在redis-cli设置start_url

redis-cli lpush myspider:start_urls http://google.com

到此这篇关于scrapy redis配置文件setting参数详解的文章就介绍到这了,更多相关scrapy redis配置setting参数内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！

scrapy redis配置文件setting参数详解

相关推荐