Spark大数据处理技术与应用-咸宁职业技术学院

Spark大数据处理技术与应用

《Spark大数据处理技术与应用》课程是一门具有全面性、实践性、前沿性和综合性等特点的课程，对于培养大数据技术类相关专业学生的专业技能和综合能力具有重要意义。课程内容涵盖了Spark的概述、工作原理、集群环境搭建、核心组件（如Spark Core、Spark SQL、Spark Streaming等）的详细介绍和实践操作。通过学习，学生能够掌握Spark分布式计算框架的使用方法，并能够运用所学知识解决实际的大数据处理问题

课程属性：专业基础课

所属专业：大数据技术

院系：信息工程学院

学时安排：54

开课时间：2024-11-06 00:00:00-2030-11-06 00:00:00

1开课期数

0知识点

2技能点

25教学资源

76选课人数

开始学习收藏课程

课程大纲
课程概述
教学团队
知识图谱
能力图谱
AI工具台

第一章 Spark概述

1.1 认识Spark及搭建Spark集群

1.2 了解Spark运行架构与原理

1.3 课后习题
第二章 Scala基础

2.1 安装与运行Scala

2.2 定义函数识别号码类型

2.3 统计广州号码段数量

2.4 根据归属地对手机号码段分组

2.5 编写手机号码归属地信息查询程序

2.6 课后习题
第三章 Spark编程基础

3.1 读取员工薪资数据创建RDD

3.2 查询上半年实际薪资排名前3的员工信息

3.3 查询上半年或下半年实际薪资大于20万的员工

3.4 输出每位员工2020年总实际薪资

3.5查询每位员工2020年的月均实际薪资

3.6 存储汇总后的员工薪资为文本文件

3.7 课后习题
第四章 Spark编程进阶

4.1 搭建Spark开发环境

4.2 统计分析竞赛网站用户访问日志数据

4.3 课后习题