全文总字数：4370字
1. 研究目的与意义（文献综述）
1．目的及意义
1.1 设计的目的
随着数据科学的迅速发展，诸如机器学习，人工智能等新兴技术极大地方便了人们的生活。来越多的应用涉及到大数据，而这些大数据的属性、包括数量、速度、多样性等等都是呈现了大数据不断增长的复杂性。从而，大数据的获取和分析在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。
2. 研究的基本内容与方案
2．基本内容和技术方案
2.1 设计的基本内容
依据任务书的要求，本设计拟完成以下任务：
3. 研究计划与安排
3．进度安排
| 时间 | 内容 | 备注 |
| 2019.3.15 | 确定论文主题方向，搜集论文相关资料 |
|
| 2019.3.22 | 整理相关资料，并针对选题的可行性、实用性编写开题报告 |
|
| 2019.3.30 | 根据整理得出的资料构筑论文大纲 |
|
| 2019.4.25 | 根据获得的数据和相关资料，开始进行课程设计，根据出现的问题对于原本的方案进行改进完善 |
|
| 2019.5.25 | 完成初步设计，寻求指导老师的意见，优化课程设计，查漏补缺，根据老师的建议进行修改 |
|
| 2019.5.30 | 最终定稿，对之前的工作进行归纳熟悉，准备对课程设计进行答辩 |
|
| 2019.6.8 | 进行论文的答辩 |
|
4. 参考文献（12篇以上）
4．参考文献[1] 王虎,张骏. 管理信息系统(第2版)[M]. 武汉：武汉理工出版社，2007.[2] 张树涛,谭海波,陈良锋,吕波.一种高效的分布式爬虫系统负载均衡策略[J/OL].计算机工程:1-7[2019-03-22][3]王芳,张睿,宫海瑞.基于Scrapy框架的分布式爬虫设计与实现[J].信息技术,2019(03):96-101.[4]邓万宇,刘光达,董莹莹.一种基于Scrapy-Redis的分布式微博数据采集方案[J].信息技术,2018(11):59-62.[5]刘芳云,张志勇,李玉祥.基于Hadoop的分布式并行增量爬虫技术研究[J].计算机测量与控制,2018,26(10):269-275 308.[6]杨国志,江业峰.基于python的聚焦网络爬虫数据采集系统设计与实现[J].科学技术创新,2018(27):73-74.[7]曹根源,董斌智.基于JAVA的京东商品分布式爬虫系统的设计与实现[J].电子技术与软件工程,2018(16):184-185.[8]华云彬,匡芳君.基于Scrapy框架的分布式网络爬虫的研究与实现[J].智能计算机与应用,2018,8(05):46-50.[9]董禹龙,杨连贺,马欣.主动获取式的分布式网络爬虫集群方法研究[J].计算机科学,2018,45(S1):428-432.[10]李优. 基于Hadoop的分布式网络爬虫设计与实现[D].西北大学,2018.[11]樊宇豪. 基于Scrapy的分布式网络爬虫系统设计与实现[D].电子科技大学,2018.[12]程泽. 基于Hadoop的分布式网络爬虫的设计与研究[D].成都理工大学,2018.[13]杨娟. 一种基于Storm平台的分布式数据爬取框架[A]. .中国职协2017年度优秀科研成果获奖论文集（一二等奖）[14] Gunjan H. Agre ; Nikita V. Mahajan: Keyword focused web crawler[15] Lan Shan ; Ying Zhao ; Juhong Zhang:Developing the System of Web-Data Mining from Chemical Database Based on Internet[16] Sawroop Kaur Bal ; G. Geetha:Smart distributed web crawler
以上是毕业论文开题报告，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
