一、学习目标
企业级大数据工程师实训以Java,Python,数据库,Linux 为技术基础,提高学员大数据开发技术水平及综合素质为根本目标。在专业技术上突出强调学员对专业知识的实际应用;在综合素质上突出强调学员的学习及应用能力、分析和解决问题的能力、良好的职业素质和团队合作。
立足于培养大数据开发、架构设计、项目管理、技术支持等方向的人才,学生在具有必备的基础理论知识和专业知识的基础上,培养以下能力:
①掌握主流的开源大数据技术,包括安装、使用、开发;
②理解大数据开发特点;能基于用户的业务场景给出大数据技术解决方案;
③掌握企业大数据项目开发分析、设计、实现、测试、发布全过程;
④了解并体验企业工作环境和工作方式;
⑤培养职业素质、团队合作精神及沟通能力,体验企业文化,适应未来的工作环境;
⑥增强实训学员的就业能力,培养符合企业需求的大数据工程师。
二、学习方向
阶段一:大数据基础
Linux虚拟机安装
Linux操作方法与常用命令
Linux软件安装。
复杂逻辑的SQL实现
海量数据的SQL开发注意事项
简单网络数据抓取
需验证登录的网络数据抓取
阶段二:数据仓库
数据仓库基本概念
数据仓库设计
用kettle实现ETL开发
用EasySchedule实现ETL开发
数据质量和任务调度
阶段三:Apache Hadoop
Hadoop安装与参数设置
Hadoop概述
HDFS操作方法
java开发远程访问HDFS
MR开发语法
hadoop生态绍
Apache Hive简介与操作
Apache Hive开发
Apache Spark安装
Apache Spark原理
Apache Spark Dataset开发语法
Apache Spark SQL开发语法
Apache Spark RDD开发语法
Apache Spark RDD开发案例解析
Apache HBASE安装
Apache HBASE原理
Apache HBASE开发语法
阶段四:流计算
Apache KAFKA安装
Apache KAFKA原理
Apache KAFKA消息生产者开发
Apache KAFKA消息消费者开发
Apache Flink安装
Apache Flink原理
Flink DataStream 接收socket数据源
Flink DataStream 接收KAFKA数据源
Apache Flink 数据输出到hdfs、mysql
阶段五:高性能数据库
ElasticsSearch安装
ElasticsSearch原理
ElasticsSearch的增删改查开发
ClickHouse安装
ClickHouse原理
ClickHouse语法
ClickHouse远程访问
阶段六: 数据挖掘
数据挖掘流程
常用算法
数据挖掘工具WEKA使用
Java调用WEKA算法开发
Java 调用xgboost算法开发
Python调用常用机器学习算法
阶段七:数据可视化
JimuReport安装
JimuReport开发流程
JimuReport表格开发
JimuReport图形开发
阶段八: 架构设计
架构设计概述
功能架构设计
技术架构设计
系统架构设计
硬件与网络设计
————————————————
版权声明:本文为CSDN博主「小白保姆」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_43617598/article/details/117917957
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。