大数据开发工程师（南京）-江苏招聘网

联系方式

联系人：咪咕文化科技有限公司

联系电话：152****5633

点击查看

打电话联系前先投递一份简历，面试成功率提高60%！

(联系我时，请说是在江苏易职邦上看到的)

职位描述

工作职责： 1. 大数据开发与优化：面向结算系统数据处理需求，重点负责结算逻辑的设计、开发、调试和优化，完成海量业务数据的抽取、清洗、转换、关联、汇总及批量计算，保障数据处理任务准确、高效运行。 2. 结算数据加工与计算：面向全场景新增/存量业务结算需求，参与结算数据接入、加工、计算及存储，围绕计费维度、费率、分成方式等结算要素开发数据处理任务，支撑阶梯结算、比例分成等复杂业务场景。 3. 数据仓库与模型建设：参与结算系统数据仓库、数据模型及公共数据层建设，围绕结算、出账、对账等场景开展数据分层、模型设计和数据服务开发，提升数据复用性、规范性及加工效率。 4. 数据链路与任务调度：参与离线批处理、数据调度及上下游数据链路建设和维护，完成任务配置、运行监控、依赖管理、异常排查及问题处理，保障结算数据按时、稳定产出。 5. 数据质量与性能保障：参与结算数据校验、稽核及质量监控，定位数据口径、算法逻辑和计算结果异常；持续优化 Hive/Spark SQL 及大数据量场景下的任务执行性能，保障结算数据准确、及时、稳定、可追溯。 6. 系统联调与技术支撑：参与数据库、数据接口及相关后端服务开发，配合完成上下游系统联调、测试上线和生产问题定位，遵循研发规范完成代码、脚本及技术文档编制。任职要求： 1. 专业背景：硕士研究生及以上学历，计算机科学与技术、软件工程、数据科学与大数据技术、信息与计算科学、人工智能、电子信息、数学、统计学等相关专业优先，具备扎实的计算机基础、数理逻辑及数据处理基础。 2. 大数据技能（核心）：熟练掌握 SQL，能够独立编写、调试和优化 Hive SQL、Spark SQL 代码及脚本，熟练使用复杂关联、窗口函数、分区等常用数据处理方式，能够完成数据抽取、清洗、转换、关联、汇总等批量数据加工；熟悉 Hive、Spark 等大数据技术，理解 Hadoop 大数据生态及分布式数据处理基本原理，具备一定的大数据任务性能分析和优化能力。 3. 开发基础：熟悉 Java、Python、Scala 中至少一种主流开发语言，具备良好的编程基础，理解常用数据结构、算法及数据库基本原理；熟悉 MySQL、Oracle、PostgreSQL 等至少一种关系型数据库，具备数据查询、开发及问题排查能力。 4. 工程能力：理解数据仓库、ETL、离线批处理、任务调度、数据质量等基本概念，能够完成数据需求分析、功能开发、测试验证、任务上线及异常排查；熟悉 Linux 常用命令，了解 Git、Maven 等常用研发工具；了解 Flink、Kafka 或常用大数据调度工具。 5. 经验及业务优先：有大数据开发、数据仓库、数据平台、软件研发等相关工作、实习或项目开发经验者优先；有 Hive/Spark SQL、ETL、批处理或数据仓库实际项目经验者优先；熟悉经营、计费、营账、结算等相关业务者优先。 6. 综合素质：具备较强的学习能力、逻辑分析能力、问题解决能力和责任心，具有良好的沟通协作及文档输出能力，能够快速理解业务数据口径、上下游数据关系及现有数据链路，具备较强的工程实践意识并能适应项目研发及生产问题处理工作。