论文查重—个人项目
2021/9/19 6:04:48
本文主要是介绍论文查重—个人项目,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
第一次编程作业
这个作业属于哪个课程 | 网工1934-软件工程 |
---|---|
这个作业要求在哪里 | 作业要求 |
这个作业的目标 | 学会熟练运用PSP表格进行估计,掌握单元测试的功能 |
1.相关代码已经上传到GitHub
2.PSP 表格
PSP2.1 | Personal Software Process Stages | 预估耗时(分钟) | 实际耗时(分钟) |
---|---|---|---|
Planning | 计划 | 30 | 30 |
· Estimate | · 估计这个任务需要多少时间 | 5 | 5 |
Development | 开发 | 150 | 90 |
· Analysis | · 需求分析 (包括学习新技术) | 200 | 240 |
· Design Spec | · 生成设计文档 | 20 | 10 |
· Design Review | · 设计复审 | 10 | 10 |
· Coding Standard | · 代码规范 (为目前的开发制定合适的规范) | 5 | 5 |
· Design | · 具体设计 | 30 | 20 |
· Coding | · 具体编码 | 120 | 240 |
· Code Review | · 代码复审 | 20 | 10 |
· Test | · 测试(自我测试,修改代码,提交修改) | 40 | 80 |
Reporting | 报告 | 60 | 70 |
· Test Repor | · 测试报告 | 20 | 20 |
· Size Measurement | · 计算工作量 | 5 | 5 |
· Postmortem & Process Improvement Plan | · 事后总结, 并提出过程改进计划 | 10 | 10 |
· | · 合计 | 725 | 845 |
3. 模块接口的设计以及实现过程
1. 主要实现类
- 主类: main方法,主要作用是接收命令行的参数,以及调用工具类执行程序
- 工具类:计算simHash值的工具类,包括计算海明距离的函数
- 单元测试:test方法,测试主类以及工具类是否可以正常使用
项目结构:
项目流程以及函数间的关系:
2. 关键函数的分析与实现
实现函数的需求分析以及解释:
- 分词:给定一段语句,进行分词,得到有效的特征向量,然后为每一个特征向量设置1-5等5个级别的权重。 例如:“今天天气晴朗,我心情随着好了起来”分词后为“今天/天气/晴朗/,/我/心情/随着/好了起来”,然后为每个特征向量赋予权值,代表这个单词在整条语句中的重要程度,数字越大代表越重要。
- 计算hash:通过hash函数计算各个特征向量的hash值,hash值为二进制数01组成的n-bit签名。
- 加权:在hash值的基础上,给所有特征向量进行加权,即W = Hash weight,且遇到1则hash值和权值正相乘,遇到0则hash值和权值负相乘。
- 合并:将上述各个特征向量的加权结果累加,变成只有一个序列串。
- 降维:对于n-bit签名的累加结果,如果大于0则置1,否则置0,从而得到该语句的simhash值,最后我们便可以根据不同语句simhash的海明距离来判断它们的相似度。从而形成它们的simhash签名。
算法流程:
相关参考连接
4. 性能分析
利用pycharm的插件可以得到耗费时间的几个主要函数排名:
由于simHash已经是非常强大的查重算法工具了,所以没有找到优化速度的比较好的方法,故在代码结果方面做了比较大的改进,进一步优化代码结构。
5.单元测试
代码展示
使用python3自带的unitTest单元测试工具对主函数进行相关样例测试,并模拟了异常处理场景
测试结果
写入文件展示:
代码覆盖率
由于单元测试不需要输入,所以主函数的代码覆盖率略低
6.异常处理
代码展示
如果找不到文件路径,就打印相关错误并结束程序
测试结果:
抄袭文件输入路径错误:
源文件输入路径错误:
谢谢观看!
这篇关于论文查重—个人项目的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-06-15matplotlib作图不显示3D图,怎么办?
- 2024-06-1503-Loki 日志监控
- 2024-06-1504-让LLM理解知识 -Prompt
- 2024-06-05做软件测试需要懂代码吗?
- 2024-06-0514-ShardingSphere的分布式主键实现
- 2024-06-03为什么以及如何要进行架构设计权衡?
- 2024-05-31全网首发第二弹!软考2024年5月《软件设计师》真题+解析+答案!(11-20题)
- 2024-05-31全网首发!软考2024年5月《软件设计师》真题+解析+答案!(21-30题)
- 2024-05-30【Java】百万数据excel导出功能如何实现
- 2024-05-30我们小公司,哪像华为一样,用得上IPD(集成产品开发)?