闲鱼信息抓取、推送程序
2021/12/20 14:19:48
本文主要是介绍闲鱼信息抓取、推送程序,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
程序一直在更新,目前已经更新到11版,在更新12版了。
1213 v 1.1.12 添加AI智能模块
目前正在添加和优化AI搜索功能,可以AI智能跳过无效搜索,提高搜索效率。
1212 v 1.1.11
版本号从1.0 过渡到1.1 整个程序模块重构。 1.0.9 添加数据库监控模块 1.1.10 模块重构, 优化搜索分词模块。 1.1.11 继续优化了搜索分词模块
1102 v 1.0.8 更新搜索入库分词优化
10-30 v 1.0.8 更新预览图片。
v 1.0.6 更新黑名单。
可以在客户端添加黑名单。
v 1.0.5 更新bug
因为闲鱼价格过万会变换显示方式,导致程序无法识别。 更新价格显示方式。
v 1.0.4更次更新
为抓取程序重构代码,并升级UI
v 1.0.4更新抓取首页和数据库页面
再次更新, 将原来杂乱的列表型数据显示更新为表格,这样看起来就没有那么乱了。 更新下效果图:
v 1.0.3添加多终端采集
在分布式采集的基础上,再次添加同一终端上面的多线程采集,进一步提高采集效率。 采集端代码在原有基础上再次升级。
v 1.0.3已经升级完毕
抓取数据目前比较快的话,可以达到10秒钟入库体现,关键词多的话,会有一定延迟。
同时,数据库从本地移到服务器,开始使用远程连接和储存数据,更方便分布式搭建、站库分离,以及一服多客模式。
更重要的是,不再需要配制本地数据库,不会再因为本地数据库问题导致程序down掉。
虽然原来也写了自动化配制数据库的程序,但因为系统权限问题,始终不太理想。这次干脆干掉本地数据库,只需要一个客户端,为所欲为了。
v 1.0.1.2升级数据库启动文件,自动检测系统数据库配制情况。
1 建议使用mongodb 4.2.14, 将mongod.exe移动到bin文件中
2 运行数据库启动软件,自动建立数据库文件和日志文件。
3 运行程序
这篇关于闲鱼信息抓取、推送程序的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-27消息中间件底层原理资料详解
- 2024-11-27RocketMQ底层原理资料详解:新手入门教程
- 2024-11-27MQ底层原理资料详解:新手入门教程
- 2024-11-27MQ项目开发资料入门教程
- 2024-11-27RocketMQ源码资料详解:新手入门教程
- 2024-11-27本地多文件上传简易教程
- 2024-11-26消息中间件源码剖析教程
- 2024-11-26JAVA语音识别项目资料的收集与应用
- 2024-11-26Java语音识别项目资料:入门级教程与实战指南
- 2024-11-26SpringAI:Java 开发的智能新利器