nodejs利用http和request模块（用于爬虫）

本文主要是介绍nodejs利用http和request模块（用于爬虫），对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

 利用nodejs内置模块http解析网址。

let http = require('http');
http.get("http://www.baidu.com", (res1) => {
    res1.setEncoding('utf-8');//设置编码格式
    res1.on('data', (res2) => {
        console.log(res2)
    })
})

利用request模块解析网址。其中需要用iconv-lite 模块来对抓取的网站数据的编码格式进行设置。

let request = require('request');
let iconv = require("iconv-lite");//解决编码格式


request.get("https://www.ygdy8.com/html/gndy/oumei/list_7_2.html", { encoding: null }, (error, response, body) => {
    console.log("error:", error);
    // const buf = iconv.dncode(body, 'gb2312');//要改变编码的内容，以及原内容的编码格式
    // const html = buf.toString('utf8');//要转换的编码格式
    // console.log(html);
    console.log(iconv.decode(body, 'gb2312').toString());//上面代码的简写

})

抓取的部分结果如下:

这篇关于nodejs利用http和request模块（用于爬虫）的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！