《大数据处理与分析》课程教学大纲（本科）.docx

大数据处理与分析Big Data Management and Analysis课程代码：06410178学分：1.5学时：24 （其中：课堂教学学时：20实验学时：上机学时：4课程实践学时：）先修课程：操作系统A、计算机网络适用专业：计算机科学与技术教材：大数据技术原理与应用（第2版），林子雨，人民邮电出版社，第2版一、课程性质与课程目标（-）课程性质海量数据的处理与分析任务给传统计算机带来了极大的挑战，现有计算机系统结构和数据处理 算法难以满足海量数据处理与分析任务在时效、有效性等方面的要求，引起了计算机领域的一次重 要变革。本课程首先给出大数据的概述，接着介绍当前主流的开源大数据系统Hadoop的基本概况， 再对大数据处理与分析中关键的技术分布式文件系统、大数据处理架构、NoSQL数据库、大数据数 据仓库、分布式内存计算、流计算、图计算等进行介绍，最后分解结合互联网、生物医学、物流等 行业的应用给出大数据分析的基本框架。使得学生能够选择某一大数据应用场景的要求，确定需要 的数据并选择合适的手段进行收集；能对该大数据应用场景进行合理分析和评价，设计和完善相应 计算机复杂工程问题的工程实践和解决方案，分析其对于社会、健康、安全、法律、文化的影响， 理解应承担的责任；分析和理解大数据处理与分析技术对环境和社会可持续发展可能存在的影响。（二）课程目标课程目标1: 了解大数据技术发展的驱动和局限。课程目标2：掌握构建大数据系统的关键技术，能够某一大数据应用场景，合理分析和评价构 建大数据系统所面临的复杂工程问题，给出工程实践和解决方案，分析其对于社会、健康、安全、 法律、文化的影响。课程目标3：针对某一大数据应用场景，确定需要的数据并选择合适的手段进行收集，构建大2017年8月16日数据原型系统，分析和理解大数据处理与分析技术对环境和社会可持续发展可能存在的影响。（三）课程目标与专业毕业要求指标点的对应关系本课程支撑专业培养计划中毕业要求指标点5. 4、7. 2和& 1。1 .毕业要求5.4：能够根据实验目的确定需要的数据，并能够选择合适的手段进行收集。2 .毕业要求7.2：能够基于工程相关背景知识进行合理分析和评价计算机复杂工程问题的工程 实践和解决方案对于社会、健康、安全、法律、文化的影响，理解应承担的责任。3 .毕业要求8.1：能够理解计算机技术的方法和手段对环境和社会可持续发展的影响。毕业要求指标点课程目标1课程目标2课程目标3毕业要求5. 4V毕业要求7. 2V毕业要求8.1V注：课程目标与毕业要求指标点对接的单元格中可输入也可标注“H、M、L”。二、课程内容与教学要求第一章大数据的概述（一）课程内容L传统计算机面临的新问题；2 .大数据系统的特点；.大数据系统与物联网和云计算的关系。（二）教学要求. 了解传统计算机的局限；1 , 了解大数据系统的特点；.理解大数据系统与相关系统之间的关系。（三）重点与难点L重点大数据系统的特点。2 .难点大数据系统与相关系统之间的关系。第二章Hadoop的基本概况（一）课程内容1. Hadoop 简介；Hadoop的基本结构；2. Hadoop的主要特征。（二）教学要求.掌握Hadoop的基本结构。1 .理解Hadoop的主要特征。（三）重点与难点.重点Hadoop的基本结构。Hadoop的主要特征。2,难点Hadoop的主要特征。第三章分布式文件系统（一）课程内容1 .分布式文件系统的概况。2 . HDFS体系结构。3 . HDFS的局限。（-）教学要求.了解分布式文件系统的概况。1 .掌握HDFS体系结构。2 .理解HDFS的局限。（三）重点与难点.重点HDFS体系结构。HDFS的局限。1 .难点HDFS的局限。第四章大数据处理架构（一）课程内容1. 分布式计算架构的简介。2. MapReduce 的结构。3. MapReduce 的实践。（二）教学要求L 了解分布式计算架构。2 .理解MapReduce的结构。3 .掌握MapReduce的实践。（三）重点与难点.重点MapReduce 的结构。MapReduce 的实践。1 .难点MapReduce 的实践。第五章NoSQL数据库（一）课程内容1. 关系数据库存在的问题。2. NoSQL数据库简介。3. NoSQL数据库的发展。（二）教学要求.理解关系数据库存在的问题。1 .掌握NoSQL数据库的基本结构。2 .了解NoSQL数据库的发展。（三）重点与难点.重点关系数据库存在的问题。NoSQL数据库的基本结构。1 .难点.NoSQL数据库的基本结构。第六章大数据数据仓库（-）课程内容1 .大数据数据仓库简介。2 . Hive的基本结构。（二）教学要求.了解大数据数据仓库。1 .掌握Hive的基本结构。（三）重点与难点.重点Hive的基本结构。1 .难点Hive的基本结构。第七章分布式内存计算（-）课程内容1. Spark的基本结构。2. Spark 与 Hadoop 的对比。（二）教学要求,掌握Spark的基本结构。1 .了解Spark与Hadoop的差异。（三）重点与难点1 .重点Spark的基本结构。2 .难点Spark与Hadoop的差异。第八章流计算（一）课程内容1. 流计算概述。2. Storm的基本结构。3. Spark Streaming 的基本结构。（二）教学要求.了解流计算的基本概念。1. 了解Storm的基本结构。2. 了解Spark Streaming的基本结构。（三）重点与难点L重点流计算的基本概念。2.难点流计算的基本概念。第九章图计算（一）课程内容1 .图计算简介。2 . Pregel图计算模型。（二）教学要求. 了解图计算的基本概念。1 .了解Pregel图计算模型。（三）重点与难点.重点Pregel图计算模型。1 .难点Pregel图计算模型。第十章面向应用领域的大数据分析（一）课程内容1 .大数据分析在互联网领域的应用。2 .大数据分析在生物医学领域的应用。3 .大数据分析在物流领域的应用。（二）教学要求,了解大数据分析在互联网领域的应用。4 .了解大数据分析在生物医学领域的应用。5 .了解大数据分析在物流领域的应用。（三）重点与难点.重点了解大数据分析在不同领域的应用。1 .难点了解大数据分析在不同领域的应用。三、本课程开设的实验项目编号实验项目名称学时类型要求支撑的课程目标1针对某一应用领域使用 Hadoop或Spark实现一个大 数据分析应用4综合性必做课程目标2、3注：1. “类型”填验证性、综合性、设计性等；. “要求”填必做、选做。实验1：针对某一应用领域使用Hadoop或Spark实现一个大数据分析应用选择一个存在大数据处理与分析问题的领域，分析出具体的大数据处理与分析问题，给出合适 的方案设计；确定需要的数据并选择合适的手段进行收集，实现一个大数据分析应用；分析其对于社会、健康、安全、法律、文化的影响，理解应承担的责任；分析和理解大数据处理与分析技术对 环境和社会可持续发展可能存在的影响。四、学时分配及教学方法章（按序填写）教学形式及学时分配主要教学方法支撑的课程目标课堂 教学实 验上 机课程 实践小 计第一章2讲授法课程目标1第一早2讲授法、讨论法课程目标1第三章2讲授法、讨论法课程目标2、3第四章22讲授法、讨论法、演 示法课程目标2、3第五章22讲授法、讨论法、演 示法课程目标2、3第六章2讲授法、讨论法、演 示法课程目标2、3第七章2讲授法、讨论法、演 示法课程目标2、3第八章2讲授法、讨论法、演 示法课程目标2、3第九章2讲授法、讨论法、演 示法课程目标2、3第九章2讲授法、讨论法、演 示法课程目标2、3合计204注：1.课程实践学时按相关专业培养计划列入表格；.主要教学方法包括讲授法、讨论法、演示法、研究型教学方法（基于问题、项目、案例等教学方法）等。五、课程考核考核形式考核要求考核权重备注大作业完成实验，主分析出具体的大数 据处理与分析问题，给出合适的 方案设计；确定需要的数据并选60%5.4 (40%)7.2 (10%)8. 1 (10%)择合适的手段进行收集，实现一个大数据分析应用；小论文能够选择某一大数据应用场景的 要求，确定需要的数据并选择合 适的手段进行收集；能对该大数 据应用场景进行合理分析和评 价，设计和完善相应计算机复杂 工程问题的工程实践和解决方 案，分析其对于社会、健康、安 全、法律、文化的影响，理解应 承担的责任；分析和理解大数据 处理与分析技术对环境和社会可 持续发展可能存在的影响。40%5.4 (10%)7.2 (15%)8. 1 (15%)该指标点的实际得分*指标点占总评分的比重）/m毕业要求指标点达成度=说明：n为本课程对应指标点的个数，m为总评成绩合格的学生数。注：1.分学期设置和考核的课程应按学期分别填写上表。2 .考核形式主要包括课堂表现、平时作业、阶段测试、期中考试、期末考试、大作业、小 论文、项目设计和作品等。3 .考核要求包括作业次数、考试方式（开卷、闭卷）、项目设计要求等。4 .考核权重指该考核方式或途径在总成绩中所占比重。六、参考书目及学习资料（书名，主编，出版社，出版时间及版次）深入理解大数据：大数据处理与编程实践，黄宜华、苗凯翔，机械工业出版社，2014-08-01大数据分析原理与实践，王宏志，机械工业出版社，2017-07-01大数据导论，托马斯埃尔 著、彭智勇 译，机械工业出版社，2017-05-01七、大纲说明（内容可包括课程基本要求、习题要求及其它一些必要的说明）