从零实现一个高性能网络爬虫(二)应对反爬虫之前端数据混淆
2022/10/9 2:23:55
本文主要是介绍从零实现一个高性能网络爬虫(二)应对反爬虫之前端数据混淆,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
摘要
目的
- 之前写项目的时候,需要用到免费的http代理,然后找到了这个 这个网站。现在需要把这个网站上的ip和port爬取下来,有兴趣的朋友也可以尝试自己爬取一下。
开始
- 打开这个网站首页,然后控制台查看ip和port的对应标签。 如上图(图一),从控制台的标签中可以看出ip加了一些无关不显示的标签来混淆数据,这里混淆的原理其实很简单,通过标签的style=”display:none”属性来达到混淆的目的,也就是包含这个属性的标签是不会显示在页面上的。知道了这一点就比较好处理了,只需要在解析的时候把包含style=”display:none”属性的标签去掉。就可以轻松的拿到ip和port数据了。 代码如下
- ip地址能够准确的拿到了,却发现port被做了混淆,而且每次返回的port还在动态改变。大家可以通过把浏览器的JavaScrip脚本关闭后,然后刷新这个网页。会发现每次的port都不一样。我们每次看到的正确port都是通过JavaScript脚本处理后的。如果采用普通爬虫的方式拿到的port都是错误的。现在要想拿到正确的port,可以通过分析它JavaScrip脚本还原数据的逻辑。 同样打开控制台->选择Sources->选择一行js代码打断点(点击行编号),如下图 刷新网页—>页面Paused in debugger—>选择Elements->右键td节点->Break on…->subtree modifications。这两个步骤就是在设置断点调试,也就是在td节点发生改变的时候paused。 选择Sources->F8(继续执行),这个时候又会有一次pause,也就是js脚本在还原正确port的时候(如下图) 函数的调用栈有好多层,如何快速定位哪一个函数的技巧就是,看它局部变量表的变量变化,因为这里是port在发生改变,然后找到对应变量和对应逻辑函数。简单分析可以确定到port发生改变的函数是一个匿名函数,如下图 格式化后,代码如下:
var _$ = [x2ex70x6fx72x74, "x65x61x63x68", "x68x74x6dx6c", "x69x6ex64x65x78x4fx66", x2a, "x61x74x74x72", x63x6cx61x73x73, "x73x70x6cx69x74", "x20", "", "x6cx65x6ex67x74x68", "x70x75x73x68", x41x42x43x44x45x46x47x48x49x5a, "x70x61x72x73x65x49x6ex74", "x6ax6fx69x6e", ]; $(function() { $(_$[0])[_$[1]](function() { var a = $(this)[_$[2]](); if (a[_$[3]](_$[4]) != -0x1) { return } ;var b = $(this)[_$[5]](_$[6]); try { b = (b[_$[7]](_$[8]))[0x1]; var c = b[_$[7]](_$[9]); var d = c[_$[10]]; var f = []; for (var g = 0x0; g < d; g++) { f[_$[11]](_$[12][_$[3]](c[g])) } ;$(this)[_$[2]](window[_$[13]](f[_$[14]](_$[15])) >> 0x3) } catch (e) { } }) })
- 还原后如下:
var _$ = [.port, "each", "html", "indexOf", *, "attr", class, "split", " ", "", "length", "push", ABCDEFGHIZ, "parseInt", "join", ]; $(function() { $(.port).each(function() { var a = $(this).html(); if (a.indexOf(*) != -0x1) { return } ;var b = $(this).attr(class); try { b = (b.split(" "))[0x1]; var c = b.split(""); var d = c.length; var f = []; for (var g = 0x0; g < d; g++) { f.push(ABCDEFGHIZ.indexOf(c[g])) } ;$(this).html(window.parseInt(f.join()) >> 0x3) } catch (e) {} }) })
- 这段代码的逻辑,获取port标签的class属性值,取出属性中后面的几个大写字母,遍历该字符串,找出每次字符在’ABCDEFGHIZ’这个字符串中的索引,然后parseInt转换为整数,然后进行右移3位的操作。 完整代码实现
package com.cnblogs.wycm; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.io.IOException; import java.net.URL; public class Chapter2 { public static void main(String[] args) throws IOException { Document document= Jsoup.parse(new URL("http://www.goubanjia.com/"), 10000); setPort(document); //获取class=table的table的所有子节点tr Elements elements = document.select("table[class=table] tr"); for (int i = 1; i < elements.size(); i++){ //获取td节点 Element td = elements.get(i).select("td").first(); /** * 查找所有style属性包含none字符串的标签(页面上未显示的标签),并移除 * 包括以下两种 * style=display: none; * style=display:none; */ for(Element none : td.select("[style*=none;]")){ none.remove(); } //移除空格 String ipPort = td.text().replaceAll(" ", ""); //打印 System.out.println(ipPort); } } /** * js代码port还原 * @param doc */ private static void setPort(Document doc){ for (Element e : doc.select(".port")){ //$(.port).each(function() { String a = e.text();//var a = $(this).html(); if(a.indexOf("*") != -0x1){ //if (a.indexOf(*) != -0x1) { return; } String b = e.attr("class");//var b = $(this).attr(class); b = b.split(" ")[0x1];//b = (b.split(" "))[0x1]; String[] c = b.split("");//var c = b.split(""); int d = b.length();//var d = c.length; StringBuilder f = new StringBuilder();//var f = []; for(int g = 0x0; g < d; g++){ //for (var g = 0x0; g < d; g++) { f.append("ABCDEFGHIZ".indexOf(c[g]));//f.push(ABCDEFGHIZ.indexOf(c[g])) } e.text(String.valueOf(Integer.valueOf(f.toString()) >> 0x3));//$(this).html(window.parseInt(f.join()) >> 0x3) } } }
- maven依赖
<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.2</version> </dependency>
总结
这篇关于从零实现一个高性能网络爬虫(二)应对反爬虫之前端数据混淆的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-15AntDesign项目实战:新手入门与初级应用教程
- 2024-11-15AntDesign-Form-rules项目实战:新手指南
- 2024-11-14ESLint课程:初学者指南
- 2024-11-14Form.List 动态表单课程:新手入门教程
- 2024-11-14Redux课程:新手入门完全指南
- 2024-11-13MobX 使用入门教程:轻松掌握前端状态管理
- 2024-11-12前端编程资料:新手入门指南与初级教程
- 2024-11-12前端开发资料入门指南
- 2024-11-12前端培训资料:适合新手与初级用户的简单教程
- 2024-11-12前端入门资料:新手必读指南