node 爬虫

2021/5/19 22:29:10

本文主要是介绍node 爬虫,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

node 爬虫

1:安装 request cheerio

2:cheerio 与jquery 使用基本上一样

// 爬虫
// 1:先有结构  ---> 获取html 解耦股 request 
// 2: 获取结构中内容  ---> cheeio ---> 与jq 一致
// 3:将内容进行数据重组  

var request = require('request');
var cheeio = require('cheerio');

request('https://www.jianshu.com/c/baff8cd74f8f',function(err,respose,body){
   var arr = [];// 重组的数据
   var $ = cheeio.load(body); 
   $('.note-list li').each(function(){
       
      var title =  $(this).find('.title').text();
      var abstract = $(this).find('.abstract').text();
      var imgSrc = $(this).find('.wrap-img img').attr('src')
      if(imgSrc===undefined){
          imgSrc = ''
      }
      arr.push({
          title:title,
          abstract:abstract,
          imgSrc:imgSrc
      })
   })

   console.log(arr);

})

// 重组数据解耦股:
// 1:相同结构放在数组中;
// 2:不同属性;用对象方式。

// 这里爬虫获取的是;初始化的数据;同步数据;不能获取异步的数据

// 爬虫数据后;在进一步处理;增删改查。等操作


这篇关于node 爬虫的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程