掌握离线数据收集、数据存储、数据计算、任务调度、数据导入导出、数据报表开发技术；掌握用户日志分析系统（业务分析、编码实现、调度配置、数据导出、数据可视化）；掌握数据仓库管理、元数据管理、数据稽查等常见处理技术掌握Hadoop高可用配置及管理。

         在大数据Spark实战的项目当中，需要重点的知识点是：

         互联网电商用户画像建模、开发、数据导入、 数据存储（Hbase+Phoenix）、可视化大数据反欺诈系统、航空领域反爬虫项目实战、系统架构、防爬规则、 Nginx+lua+kafak整合、高频IP检测、  SparkStreaming规则引擎开发、 数据可视化flink的简介、最值函数aggregate和minBy、maxBy、 去重distict和关联join函数、union合并和rebalance负载均衡、 3种分区方式（hash、range、sort）、source数据源、flink的sink操作、 本地执行和集群执行、广播变量的操作、分布式缓存的使用、 无重叠数据处理、 窗口划分、windowTime、同步hbase、flink的source源、 基于mysql的sink操作、flink的容错、flink对接kafka数据、案例实战根据市场反馈的数据来看，以上能力全部具备的话能够胜任：

         Spark相关工作，包括ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师、大数据反欺诈工程师。目前企业急缺Spark相关人才。薪资在15k左右；

         本文由培训无忧网牛耳教育课程顾问老师整理发布，希望能够对想要入门大数据的小伙伴有所帮助。更多Java以及大数据相关课程信息可关注培训无忧网软件开发培训或添加老师微信：15033336050