网站首页 > java教程 正文
大数据开发工程师是大数据行业的岗位之一,有很多对于大数据感兴趣的人可能不是很了解大数据开发工程师是做什么的,没关系,小编这就来告诉你们大数据开发工程师是做什么的。
大数据开发工程师根据企业需求不同,岗位也就不同,大数据开发工程师还可以根据方向分为两种不同的岗位。
一、大数据开发岗位分类
大数据开发岗位可以分为两种:数据仓库开发、大数据平台开发、大数据应用开发。
1、什么是数据仓库开发?
数据仓库开发就是根据企业的要求搭建一个数据仓库,而这个数据仓库是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程赶紧、监视时间、成本、质量以及控制。
2、什么是大数据平台开发?
大数据平台开发有两个方面,一个是进行大数据平台自身的开发,属于研发级开发,比如大数据平台Hadoop的组件开发HBase、Hive、Avro、Zookeeper等;另一种是在大数据平台下进行应用开发,在大数据平台Hadoop及Spark进行具体的应用开发。
二、大数据开发工程师各岗位的工作职责
1、数据仓库开发工程师
小编从大型互联网企业中挑选出一家数据开发工程师的部分要求。
① 工作职责:
负责人力资源系统核心业务模块数据仓库的构建;
负责数据模型的设计,ETL实施、ETL性能优化、ETL数据监控以及一系列技术问题的解决;
负责构建用户主题、各业务线主题、推荐主题、BI门户系统
负责全产品线数据字典维护,提升数据资产质量。
② 职位要求:
计算机、数学相关专业本科及以上学历,三年以上大数据开发工作经验;
深入理解常用的数据建模理论,可独立把控数据仓库的各层级设计;有数据挖掘,机器学习,推荐相关经验优先;
熟练掌握Hive/SQL,熟悉Spark/Map-Reduce/MPI分布式计算框架,熟悉大数据的离线和实时处理,可以进行海量数据模型的设计、开发;
2、大数据平台开发工程师
① 工作职责:
负责企鹅游戏大数据应用系统的后端开发工作,处理包括高并发场景or复杂业务逻辑下数据平台的开发设计工作
② 工作要求:
本科及以上学历,计算机相关专业,3年及以上相关工作经验,有扎实的计算机理论基础,对数据结构,设计模式有深度的了解;
开发语言golang、php、java不限,至少精通掌握一种; 对一些开发框架的原理&源码都有一定的了解(如laravel)
一位优秀大数据开发工程师可以根据需求开发出相应的产品,不仅能够解决企业的一些问题还可以解决用户的一些需求问题。大数据开发工程师顺应时代而生,是新时代为处理大数据而开发出处理平台及各种数据工具的工程师,现在大家知道了大数据开发工程师是做什么的吗?
猜你喜欢
- 2025-10-14 SpringBoot+Dubbo+Zookeeper+Redis+MQ分布式快速开发平台源码
- 2025-10-14 如何学好大数据开发?---shell基本语法
- 2025-10-14 译见:从理论到实践,基于Java的开源大数据工具
- 2025-10-14 基于springcloud2.x+jeesuite-libs构建企业级开发平台源码分享
- 2025-10-14 深度揭秘!互联网大厂Java开发不得不知的关键技术与前沿趋势
- 2025-10-14 大数据开发:关于JVM内存模型JMM详解
- 2025-10-14 Java 开发必看!多线程创建 3 种核心方式 + 2 种进阶方案讲透
- 2025-10-14 大数据开发学习最全汇总_大数据开发基础知识
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- java反编译工具 (77)
- java反射 (57)
- java接口 (61)
- java随机数 (63)
- java7下载 (59)
- java数据结构 (61)
- java 三目运算符 (65)
- java对象转map (63)
- Java继承 (69)
- java字符串替换 (60)
- 快速排序java (59)
- java并发编程 (58)
- java api文档 (60)
- centos安装java (57)
- java调用webservice接口 (61)
- java深拷贝 (61)
- 工厂模式java (59)
- java代理模式 (59)
- java.lang (57)
- java连接mysql数据库 (67)
- java重载 (68)
- java 循环语句 (66)
- java反序列化 (58)
- java时间函数 (60)
- java是值传递还是引用传递 (62)
本文暂时没有评论,来添加一个吧(●'◡'●)