一、岗位定位
负责大数据平台的数据仓库建设、ETL开发、数据服务接口开发及数据应用落地，基于Java技术栈构建高效稳定的数据处理链路，支撑业务的数据化分析与决策需求。

二、岗位职责
使用Java/Scala开发大数据处理程序，完成离线与实时数据的抽取、清洗、转换和加载（ETL），确保数据流转的准确性与及时性；
参与数据仓库架构设计，构建分层模型（ODS/DWD/DWS/ADS），编写Hive/SparkSQL，并结合Java实现复杂数据计算逻辑；
基于SpringBoot/SpringCloud框架开发数据服务接口，对接各类业务系统，提供标准化的数据查询与分析能力；
维护Hadoop/Spark/Flink等大数据集群中的Java应用，监控任务运行状态，定位并解决数据延迟、任务异常等问题；
参与数据质量体系搭建，利用Java开发数据校验工具，制定校验规则，保障数据的完整性与一致性；
协同业务部门梳理数据需求，输出数据开发方案，推动数据产品的实施与落地。

三、任职要求
（核心硬技能：Java相关）
扎实掌握Java基础知识，包括集合、多线程、IO/NIO、JVM及常用设计模式，具备良好的编码实践能力；
精通SpringBoot/SpringCloud框架，可独立开发分布式数据服务，熟悉RESTfulAPI设计规范；
熟悉大数据生态中Java相关开发技术，如Hadoop（HDFS/MapReduce/YARN）、Spark/Flink（JavaAPI）、HBase（Java客户端）等；
掌握Java性能调优方法，能够排查数据任务中出现的内存泄漏、线程阻塞等常见问题；
熟练使用Maven/Gradle构建工具及Git版本控制工具，具备规范的代码管理习惯。

（通用数据技能）
能熟练编写Hive/SparkSQL，掌握维度建模、星型模型等数仓建模方法；
了解离线与实时数据处理流程，具备Flink/SparkStreaming实时开发经验者优先；
熟悉MySQL/Oracle等关系型数据库，掌握索引优化与SQL性能调优技巧；
了解DataX/Sqoop/Canal等数据同步工具的使用及二次开发能力者优先。