1.0 课程宣传片 1.1 大数据时代 1.2 大数据概念 1.3 大数据的影响 1.4 大数据关键技术 1.5 大数据计算模式 1.6.1 代表性大数据技术之Hadoop 1.6.2 代表性大数据技术之Spark 1.6.3 代表性大数据技术之Flink和Beam 2.1.1 计算机的缘起 2.1.2 编程范式 2.1.3 Scala简介 2.1.4 Scala安装 2.1.5 HelloWorld 2.2.1 基本数据类型和变量 2.2.2 输入输出 2.2.3 控制结构 2.2.4 数据结构（数组、元组） 2.2.5 数据结构（容器、序列） 2.2.6 数据结构（集合、映射） 2.3.1 类（类的定义） 2.3.2 类（构造器） 2.3.3 对象（单例对象） 2.3.4 对象（apply方法） 2.3.5 对象（update方法和unapply方法） 2.3.6 继承 2.3.7 特质 2.3.8 模式匹配 2.3.9 包 2.4.1 函数定义与使用 2.4.2 高阶函数 2.4.3 针对容器的操作（遍历、映射） 2.4.4 针对容器的操作（过滤、归约） 2.4.5 函数式编程实例WordCount 3.1.1 Spark简介 3.1.2 Spark与Hadoop的对比 3.2 Spark的生态系统 3.3.1 基本概念和架构设计 3.3.2 Spark运行基本流程 3.3.3 RDD运行原理（RDD设计背景） 3.3.4 RDD运行原理（RDD概念、操作和特性） 3.3.5 RDD运行原理（RDD之间的依赖关系） 3.3.6 RDD运行原理（阶段的划分和RDD运行过程） 3.4 Spark的部署和应用方式 4.1 安装Spark 4.2 在spark-shell中运行代码 4.3.1 开发Spark独立应用程序（安装编译工具、编写代码） 4.3.2 开发Spark独立应用程序（编译打包和运行程序） 4.4 Spark集群环境搭建 4.5 在集群上运行Spark应用程序 5.1.1 RDD创建 5.1.2 RDD操作（Transformation） 5.1.3 RDD操作（Action） 5.1.4 持久化 5.1.5 分区（分区的作用和原则） 5.1.6 分区（设置分区的方法） 5.1.7 一个综合案例 5.2.1 键值对RDD的创建 5.2.2 常用的键值对RDD转换操作（1） 5.2.3 常用的键值对RDD转换操作（2） 5.2.4 常用的键值对RDD转换操作（一个综合实例） 5.3.1 文件数据读写（文件系统数据读写） 5.3.2 文件数据读写（JSON文件数据读写） 5.3.3 读写HBase数据（HBase简介） 5.3.4 读写HBase数据（创建一个HBase表） 5.3.5 读写HBase数据（配置Spark并编写程序读取HBase数据） 5.3.6 读写HBase数据（编写程序向HBase写入数据） 5.4.1 案例1：求TOP值 5.4.2 案例2：求最大最小值 5.4.3 案例3：文件排序 5.4.4 案例4：二次排序 5.4.5 案例5：连接操作 6.1 Spark SQL简介 6.2 DataFrame 6.3.1 利用反射机制推断RDD模式 6.3.2 使用编程方式定义RDD模式 6.4.1 MySQL数据库准备工作 6.4.2 通过JDBC连接MySQL数据库 7.1 流计算概述 7.2 Spark Streaming 7.3 DStream操作概述 7.4.1 文件流 7.4.2 套接字流（使用NC程序产生数据） 7.4.3 套接字流（使用Socket编程实现自定义数据源） 7.4.4 RDD队列流 7.5.1 使用Apache Kafka作为Spark Streaming数据源（准备工作） 7.5.2 编写生产者程序 7.5.3 编写消费者程序、编译运行程序 7.6.1 DStream无状态转换操作 7.6.2 DStream有状态转换操作（滑动窗口转换操作） 7.6.3 DStream有状态转换操作（updateStateByKey操作） 7.7 输出操作 7.8 Structured Streaming 8.1 Spark MLlib简介 8.2.1 机器学习流水线概念 8.2.2 构建一个机器学习流水线 8.3.1 特征抽取：TF-IDF 8.3.2 特征抽取：Word2Vec 8.3.3 特征抽取：CountVectorizer 8.4.1 逻辑斯蒂回归分类器 8.4.2 决策树分类器