大数据开发工程师是做什么的?有哪些方向
想了解下大数据开发工程师是做什么的?有哪些方向
推荐答案
同学,你好!大数据开发工程师是做什么的?大数据开发工程师根据企业的需求有不同的职位。大数据开发工程师也可以根据方向分为两个不同的岗位。大数据开发岗位可分为数据仓库开发、大数据平台开发和大数据应用开发两类。
什么是数据仓库开发?
数据仓库的发展就是根据企业的需求构建数据仓库,而这个数据仓库是为企业各级决策过程提供各类数据支持的战略集合。它是为分析报告和决策支持目的而创建的单一数据存储。针对需要商业智能的企业,提供业务流程紧迫性、监控时间、成本、质量和控制等方面的指导。
什么是大数据平台开发?
大数据平台的发展有两个方面。 一是大数据平台本身的开发,属于R&D级开发,比如针对大数据平台Hadoop的组件进行HBase、Hive、Avro、Zookeeper等的开发;进行应用开发,在大数据平台Hadoop和Spark上进行具体的应用开发。
大数据开发工程师各岗位职责
1、数据仓库开发工程师
小编挑选了一些来自大型互联网公司的数据开发工程师的需求。
① 岗位职责:
负责人力资源系统核心业务模块数据仓库的建设;
负责数据模型设计、ETL实现、ETL性能优化、ETL数据监控,解决一系列技术问题;
负责用户主题、业务线主题、推荐主题、BI门户系统的搭建;
负责维护整个产品线的数据字典,提升数据资产质量。
② 职位要求:
计算机、数学相关专业本科及以上学历,三年以上大数据开发工作经验;
深入理解常用的数据建模理论,能独立把控数据仓库各层级的设计;有数据挖掘、机器学习、推荐经验者优先;
熟悉Hive/SQL,熟悉Spark/Map-Reduce/MPI分布式计算框架,熟悉大数据的离线和实时处理,能够设计和开发海量数据模型;
2、大数据平台开发工程师
① 岗位职责:
负责企鹅游戏大数据应用系统的后端开发,包括高并发场景或复杂业务逻辑下数据平台的开发设计
② 职位要求:
本科及以上学历,计算机相关专业,3年及以上相关工作经验,计算机理论基础扎实,对数据结构和设计模式有深刻理解;
开发语言golang、php、java不限,至少掌握一种;对一些开发框架(如laravel)的原理&源码有一定了解。
一个优秀的大数据开发工程师,可以根据需求开发相应的产品,既可以解决企业的一些问题,也可以解决用户的一些需求。大数据开发工程师是顺应时代而生的,他们是开发新时代处理大数据的处理平台和各种数据工具的工程师。现在,你知道大数据开发工程师是做什么的了吗?