在线爬虫管理与监控系统开题报告

 2022-08-23 11:45:45

全文总字数:4370字

1. 研究目的与意义(文献综述)

1.目的及意义

1.1 设计的目的

随着数据科学的迅速发展,诸如机器学习,人工智能等新兴技术极大地方便了人们的生活。来越多的应用涉及到大数据,而这些大数据的属性、包括数量、速度、多样性等等都是呈现了大数据不断增长的复杂性。从而,大数据的获取和分析在大数据领域就显得尤为重要,可以说是决定最终信息是否有价值的决定性因素。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

2. 研究的基本内容与方案

2.基本内容和技术方案

2.1 设计的基本内容

依据任务书的要求,本设计拟完成以下任务:

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

3. 研究计划与安排

3.进度安排

时间

内容

备注

2019.3.15

确定论文主题方向,搜集论文相关资料

2019.3.22

整理相关资料,并针对选题的可行性、实用性编写开题报告

2019.3.30

根据整理得出的资料构筑论文大纲

2019.4.25

根据获得的数据和相关资料,开始进行课程设计,根据出现的问题对于原本的方案进行改进完善

2019.5.25

完成初步设计,寻求指导老师的意见,优化课程设计,查漏补缺,根据老师的建议进行修改

2019.5.30

最终定稿,对之前的工作进行归纳熟悉,准备对课程设计进行答辩

2019.6.8

进行论文的答辩

4. 参考文献(12篇以上)

4.参考文献[1] 王虎,张骏. 管理信息系统(第2版)[M]. 武汉:武汉理工出版社,2007.[2] 张树涛,谭海波,陈良锋,吕波.一种高效的分布式爬虫系统负载均衡策略[J/OL].计算机工程:1-7[2019-03-22][3]王芳,张睿,宫海瑞.基于Scrapy框架的分布式爬虫设计与实现[J].信息技术,2019(03):96-101.[4]邓万宇,刘光达,董莹莹.一种基于Scrapy-Redis的分布式微博数据采集方案[J].信息技术,2018(11):59-62.[5]刘芳云,张志勇,李玉祥.基于Hadoop的分布式并行增量爬虫技术研究[J].计算机测量与控制,2018,26(10):269-275 308.[6]杨国志,江业峰.基于python的聚焦网络爬虫数据采集系统设计与实现[J].科学技术创新,2018(27):73-74.[7]曹根源,董斌智.基于JAVA的京东商品分布式爬虫系统的设计与实现[J].电子技术与软件工程,2018(16):184-185.[8]华云彬,匡芳君.基于Scrapy框架的分布式网络爬虫的研究与实现[J].智能计算机与应用,2018,8(05):46-50.[9]董禹龙,杨连贺,马欣.主动获取式的分布式网络爬虫集群方法研究[J].计算机科学,2018,45(S1):428-432.[10]李优. 基于Hadoop的分布式网络爬虫设计与实现[D].西北大学,2018.[11]樊宇豪. 基于Scrapy的分布式网络爬虫系统设计与实现[D].电子科技大学,2018.[12]程泽. 基于Hadoop的分布式网络爬虫的设计与研究[D].成都理工大学,2018.[13]杨娟. 一种基于Storm平台的分布式数据爬取框架[A]. .中国职协2017年度优秀科研成果获奖论文集(一二等奖)[14] Gunjan H. Agre ; Nikita V. Mahajan: Keyword focused web crawler[15] Lan Shan ; Ying Zhao ; Juhong Zhang:Developing the System of Web-Data Mining from Chemical Database Based on Internet[16] Sawroop Kaur Bal ; G. Geetha:Smart distributed web crawler

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文开题报告,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。