.jpg)
本文目录
大数据运维工程师需要的技能
大数据运维工程师需要的技能有：具备一定的服务器知识、有提供方案的能力、需要对数据具有高度的敏感性、需要掌握一些脚本语言。
技能：
大数据运维工程师具备一定的服务器知识。在大数据的传输过程中，离不开服务器的知识。大数据运维工程师掌握服务器知识，才能对服务器进行合理的配置，在服务器出现故障的时候能够自如地应对。
大数据运维工程师需要具有提供方案的能力。大数据运维工程师需要对数据进行分析，然后再根据分析的结果，为公司制定具有可行性的方案，这样才能体现出数据分析的实际价值。
大数据运维工程师需要对数据具有高度的敏感性。高度的敏感性可以帮助大数据运维工程师透过现象发现数据背后隐藏的更有价值的内容。
大数据运维工程师需要掌握一些脚本语言。常见的脚本语言Shell、PHP、COBOL等，大数据运维工程师最少需要熟练掌握其中一种。以上就是大数据运维工程师需要掌握的一些常见技能。
大数据运维工程师的主要职责：
1、承担团队的日常管理，如值班安排、工作分配、日常考评等。
2、组织制订、完善与本部门相关的管理制度、标准操作手册SOP维护操作MOP和应急预案等。
3、组织制定中心基础设施保养计划，做好相关计划的实现、控制及优化工作。
4、审核、报批、组织实施各类变更申请、事报告工作，做好相关应急工作的指挥与处理。
5、组织开展数据中心基础设施运行维护相关培训、训练与演练。
6、协助商务部与外包服务商洽谈相关维护服务合同，监督服务实施并要求进行审核与考评，确保相关基础设施的稳定运行。
7、负责数据中心基础设施资源统计、容量预警工作，做好每月用水用电统计、PUE统计与分析。
8、配合数据中心进驻客户的场地选址、平面布局、改造实施、进驻管理等支持协调工作。
9、基础设施月报、环境报告的编写和提交。
10、数据中心基础设施的持续优化和改善。
11、负责上级主管领导交办的其它工作。
大数据工程师需要哪些基础知识
目前大数据领域内的主要工作岗位涉及到大数据采集工程师、大数据分析工程师、大数据开发工程师和大数据运维工程师，如果想转型为大数据工程师，可以根据自身的知识结构和能力特点选择一个具体的发展方向。
大数据采集工程师主要的工作任务是完成数据的采集、整理和存储，虽然整体的技术含量并不算太高，但是涉及到的知识面却比较广泛。由于目前大数据的主要数据采集渠道包括物联网、互联网和传统信息系统，所以大数据采集工程师也需要掌握这些相关技术，比如要掌握如何通过程序设计来完成网络信息提取等。另外，数据的整理和存储还需要掌握各种数据库知识(包括NoSql数据库)，以及云计算相关知识。
大数据分析工程师主要的工作内容是进行大数据分析和呈现，大数据分析目前有两种主要方式，分别是统计学方式和机器学习方式，所以要想从事大数据分析工程师岗位，需要具有扎实的数学基础和程序设计基础。
大数据开发工程师主要完成两方面任务，其一是进行大数据平台开发，其二是进行大数据应用开发。在当前大数据技术体系逐渐成熟的情况下，大数据应用开发的岗位需求量会更大一些，相对于大数据平台开发来说，大数据应用开发更注重与应用场景的结合。
关于大数据工程师需要哪些基础知识，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。
大数据工程师需要学习哪些
1.大数据工程师工作中会做什么？
集群运维：安装、测试、运维各种大数据组件
数据开发：细分一点的话会有ETL工程师、数据仓库工程师等
数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等
这里面有很多内容其实是十分重合的，下面大致聊一下每一块内容大致需要学什么，以及侧重点。
2.集群运维
数据工程师，基本上是离不开集群搭建，比如hadoop、Spark、Kafka，不要指望有专门的运维帮你搞定，新组件的引入一般都要自己来动手的。
因此这就要求数据工程师了解各种大数据的组件。
由于要自己的安装各种开源的组件，就要求数据工程师要具备的能力：Linux。要对Linux比较熟悉，能各种自己折腾着玩。
由于现在的大数据生态系统基本上是JVM系的，因此在语言上，就不要犹豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要学的很深，Scala就看情况了。
3.ETL
ETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要，Java、Shell和Sql是基本功。
4.系统开发
我们大部分的价值最后都会由系统来体现，比如报表系统和推荐系统。因此就要求有一定的系统开发能力，最常用的就是JavaWeb这一套了，当然Python也是挺方便的。
需要注意的是，一般数据开发跑不掉的就是各种提数据的需求，很多是临时和定制的需求，这种情况下，Sql就跑不掉了，老老实实学一下Sql很必要。
如何入门？
前面提到了一些数据工程师会用到的技能树，下面给一个入门的建议，完全个人意见。
1.了解行业情况
刚开始一定要了解清楚自己和行业的情况，很多人根本就分不清招聘信息中的大数据和数据挖掘的区别就说自己要转行，其实是很不负责的。不要总是赶热点，反正我就是经常被鄙视做什么大数据开发太Low，做数据就要做数据挖掘，不然永远都是水货。
2.选择学习途径
如果真是清楚自己明确地想转数据开发了，要考虑一下自己的时间和精力，能拿出来多少时间，而且在学习的时候最好有人能多指点下，不然太容易走弯路了。
在选择具体的学习途径时，要慎重一点，有几个选择：
自学
报班
找人指点
别的不说了，报班是可以考虑的，不要全指望报个辅导班就能带你上天，但是可以靠他帮你梳理思路。如果有专业从事这一行的人多帮帮的话，是最好的。不一定是技术好，主要是可沟通性强。
3.学习路线
学习路线，下面是一个大致的建议：
第一阶段
先具备一定的Linux和Java的基础，不一定要特别深，先能玩起来，Linux的话能自己执行各种操作，Java能写点小程序。这些事为搭建Hadoop环境做准备。
学习Hadoop，学会搭建单机版的Hadoop，然后是分布式的Hadoop，写一些MR的程序。
接着学学Hadoop生态系统的其它大数据组件，比如Spark、Hive、Hbase，尝试去搭建然后跑一些官网的Demo。
Linux、Java、各种组件都有一些基础后，要有一些项目方面的实践，这时候找一些成功案例，比如搜搜各种视频教程中如何搞一个推荐系统，把自己学到的用起来。
第二阶段
到这里是一个基本的阶段了，大致对数据开发有一些了解了。接着要有一些有意思内容可以选学。
数据仓库体系：如何搞数据分层，数据仓库体系该如何建设，可以有一些大致的了解。
用户画像和特征工程：这一部分越早了解越好。
一些系统的实现思路：比如调度系统、元数据系统、推荐系统这些系统如何实现。
第三阶段
下面要有一些细分的领域需要深入进行，看工作和兴趣来选择一些来深入进行
分布式理论：比如Gossip、DHT、Paxo这些构成了各种分布式系统的底层协议和算法，还是要学一下的。
数据挖掘算法：算法是要学的，但是不一定纯理论，在分布式环境中实现算法，本身就是一个大的挑战。
各种系统的源码学习：比如Hadoop、Spark、Kafka的源码，想深入搞大数据，源码跑不掉。
关于大数据运维工程师需要哪些知识，大数据运维工程师需要哪些知识技能的介绍到此结束，希望对大家有所帮助。
发表评论 取消回复