使用正则表达式实现网页爬虫的思路详解
2019/6/29 20:58:39
本文主要是介绍使用正则表达式实现网页爬虫的思路详解,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
网页爬虫:就是一个程序用于在互联网中获取指定规则的数据。
思路:
1.为模拟网页爬虫,我们可以现在我们的tomcat服务器端部署一个1.html网页。(部署的步骤:在tomcat目录的webapps目录的ROOTS目录下新建一个1.html。使用notepad++进行编辑,编辑内容为:
)
2.使用URL与网页建立联系
3.获取输入流,用于读取网页中的内容
4.建立正则规则,因为这里我们是爬去网页中的邮箱信息,所以建立匹配 邮箱的正则表达式:String regex="\w+@\w+(\.\w+)+";
5.将提取到的数据放到集合中。
代码:
import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.net.URL; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; /* * 网页爬虫:就是一个程序用于在互联网中获取指定规则的数据 * * */ public class RegexDemo { public static void main(String[] args) throws Exception { List<String> list=getMailByWeb(); for(String str:list){ System.out.println(str); } } private static List<String> getMailByWeb() throws Exception { //1.与网页建立联系。使用URL String path="http://localhost:8080//1.html";//后面写双斜杠是用于转义 URL url=new URL(path); //2.获取输入流 InputStream is=url.openStream(); //加缓冲 BufferedReader br=new BufferedReader(new InputStreamReader(is)); //3.提取符合邮箱的数据 String regex="\\w+@\\w+(\\.\\w+)+"; //进行匹配 //将正则规则封装成对象 Pattern p=Pattern.compile(regex); //将提取到的数据放到一个集合中 List<String> list=new ArrayList<String>(); String line=null; while((line=br.readLine())!=null){ //匹配器 Matcher m=p.matcher(line); while(m.find()){ //3.将符合规则的数据存储到集合中 list.add(m.group()); } } return list; } }
注意:在执行前需要先开启tomcat服务器
运行结果:
总结
以上所述是小编给大家介绍的使用正则表达式实现网页爬虫的思路详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对找一找教程网网站的支持!
这篇关于使用正则表达式实现网页爬虫的思路详解的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-01-0939. 干货系列从零用Rust编写负载均衡及代理,正则及格式替换
- 2024-01-08如何编写高效的正则表达式?
- 2023-12-29"Matlab中的正则表达式:强大而灵活的工具"
- 2023-09-30这个正则 为啥同样的单号第二个就提取不出来?
- 2023-06-086.2 re 正则表达式
- 2023-06-06将字符串里的\x01,\x02这些替换掉用正则表达式无效?
- 2023-05-24正则表达式详解
- 2023-05-17我让gpt写了一段正则表达式代码,可是运行报错,可以帮忙看看哪里出了问题?
- 2023-04-27我要提取text4文本中的邮箱号 正则应该怎么写?
- 2023-04-15bash shell 无法使用 perl 正则