node 爬虫
2021/5/19 22:29:10
本文主要是介绍node 爬虫,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
node 爬虫
1:安装 request cheerio
2:cheerio 与jquery 使用基本上一样
// 爬虫 // 1:先有结构 ---> 获取html 解耦股 request // 2: 获取结构中内容 ---> cheeio ---> 与jq 一致 // 3:将内容进行数据重组 var request = require('request'); var cheeio = require('cheerio'); request('https://www.jianshu.com/c/baff8cd74f8f',function(err,respose,body){ var arr = [];// 重组的数据 var $ = cheeio.load(body); $('.note-list li').each(function(){ var title = $(this).find('.title').text(); var abstract = $(this).find('.abstract').text(); var imgSrc = $(this).find('.wrap-img img').attr('src') if(imgSrc===undefined){ imgSrc = '' } arr.push({ title:title, abstract:abstract, imgSrc:imgSrc }) }) console.log(arr); }) // 重组数据解耦股: // 1:相同结构放在数组中; // 2:不同属性;用对象方式。 // 这里爬虫获取的是;初始化的数据;同步数据;不能获取异步的数据 // 爬虫数据后;在进一步处理;增删改查。等操作
这篇关于node 爬虫的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-06-19《2023版Java工程师》课程升级公告
- 2024-06-15matplotlib作图不显示3D图,怎么办?
- 2024-06-1503-Loki 日志监控
- 2024-06-1504-让LLM理解知识 -Prompt
- 2024-06-05做软件测试需要懂代码吗?
- 2024-06-0514-ShardingSphere的分布式主键实现
- 2024-06-03为什么以及如何要进行架构设计权衡?
- 2024-05-31全网首发第二弹!软考2024年5月《软件设计师》真题+解析+答案!(11-20题)
- 2024-05-31全网首发!软考2024年5月《软件设计师》真题+解析+答案!(21-30题)
- 2024-05-30【Java】百万数据excel导出功能如何实现