scrapy-redis分布式爬取 读取redis数据库中内容存储到mongo

本文主要是介绍scrapy-redis分布式爬取 读取redis数据库中内容存储到mongo，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

import json
import pymongo
from redis import StrictRedis

rediscli=StrictRedis(host='192.168.6.223',port=6379,db=0,decode_responses=True)
client=pymongo.MongoClient('mongoip',27017)
db=client.xixian
collention=db.demo

while True:
    source, data = rediscli.blpop(["jincai_data:items"])
    item = json.loads(data)
    collention.insert_one(item)
    print(item)

这篇关于scrapy-redis分布式爬取 读取redis数据库中内容存储到mongo的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！