大数据运维具体做什么(大数据运维具体做什么的)

大家好，今天小编来为大家解答大数据运维具体做什么这个问题，大数据运维具体做什么的很多人还不知道，现在让我们一起来看看吧！

本文目录

1. 大数据运维的主要工作内容是什么
2. 大数据运维是什么工作
3. 大数据运维工程师具体做什么

大数据运维的主要工作内容是什么

大数据相关工作岗位很多，有大数据分析师、大数据挖掘算法工程师、大数据研发工程师、数据产品经理、大数据可视化工程师、大数据爬虫工程师、大数据运营专员、大数据架构师、大数据专家、大数据总监、大数据研究员、大数据科学家等等

数据分析师：

工作内容：

a.临时取数分析，比如双11大促活动分析；产品的流量转化情况、产品流程优化分析，等等；

b.报表需求分析--比如企业常见的日报、周报、月报、季报、年报、产品报表、流量转化报表、经营分析报表、KPI报表等等；

c.业务专题分析：

精准营销分析（用户画像分析、营销对象分析、营销策略分析、营销效果分析）；

风控分析（策略分析，反欺诈分析，信用状况分析）；

市场研究分析（行业分析、竞品分析、市场分析、价格分析、渠道分析、决策分析等等）；

工具和技能：

工具：R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT

技能：需掌握SQL数据库、概率统计、常用的算法模型（分类、聚类、关联、预测等，每一类模型的一两种最典型的算法）、分析报告的撰写、商业的敏感性等等；

数据挖掘工程师：

工作内容：

a.用户基础研究：用户生命周期刻画（进入、成长、成熟、衰退、流失）、用户细分模型、用户价值模型、用户活跃度模型、用户意愿度识别模型、用户偏好识别模型、用户流失预警模型、用户激活模型等

b.个性化推荐算法：基于协同过滤（USERBASE/ITEMBASE）的推荐，基于内容推荐，基于关联规则Apriot算法推荐，基于热门地区、季节、商品、人群的推荐等

c.风控模型：恶意注册模型、异地识别模型、欺诈识别模型、高危会员模型、

电商领域（炒信模型、刷单模型、职业差评师模型、虚假发货模型、反欺诈模型）

金融领域（欺诈评分模型、征信评分模型、催收模型、虚假账单识别模型等）

d.产品知识库：产品聚类分类模型、产品质量评分模型、违禁品识别模型、假货识别模型等

e.文本挖掘、语义识别、图像识别，等等

工具和技能：

工具：R、Python、SAS、SPSS、Spark、Mlib等等

技能：需掌握SQL数据库、概率统计、机器学习算法原理（分类、聚类、关联、预测、神经网络等）、模型评估、模型部署、模型监控；

数据产品经理：

工作内容：

a.大数据平台建设，让获取数据、用数据变得轻而易举；构建完善的指标体系，实现对业务的全流程监控、提高决策效率、降低运营成本、提升营收水平；

b.数据需求分析，形成数据产品，对内提升效率、控制成本，对外增加创收，最终实现数据价值变现；

c.典型的大数据产品：大数据分析平台、个性化推荐系统、精准营销系统、广告系统、征信评分系统（如芝麻评分）、会员数据服务系统（如数据纵横），等等；

工具和技能：

工具：除了掌握数据分析工具，还需要掌握像原型设计工具Auxe、画结构流程的X-Mind、visio、Excel、PPT等

技能：需掌握SQL数据库、产品设计，同时，熟悉常用的数据产品框架

数据研发工程师：

工作内容：

a.大数据采集、日志爬虫、数据上报等数据获取工作

b.大数据清洗、转换、计算、存储、展现等工作

c.大数据应用开发、可视化开发、报表开发等

工具和技能：

工具：hadoop、hbase、hive、kafaka、sqoop、java、python等

技能：需掌握数据库、日志采集方法、分布式计算、实时计算等技术

大数据运维是什么工作

1、从工作职责的运维和实施来看

运维工程师最基本的职责都是负责服务的稳定性，确保服务可以7*24H不间断地为用户提供服务，负责维护并确保整个服务的高可用性，同时不断优化系统架构提升部署效率、优化资源利用率；

实施工程师，以软件实施工程师为例，主要负责工程实施：包括常用操作系统、应用软件及公司所开发的软件安装、调试、维护，还有少部分硬件、网络的工作；负责现场培训：现场软件应用培训；协助项目验收；负责需求的初步确认；把控项目进度；与客户沟通个性化需求；负责项目维护。

2、从企业招聘的岗位说明来看，

大数据运维工程师，主要负责大数据相关系统/平台的维护，确保其稳定性，更多的是对大数据系统的维护；

大数据运维工程师具体做什么

事件管理：目标是在服务出现异常时尽可能快速的恢复服务，从而保障服务的可用性;同时深入分析故障产生的原因，推动并修复服务存在的问题，同时设计并开发相关的预案以确保服务出现故障时可以高效的止损。

问题发现：设计并开发高效的监控平台和告警平台，使用机器学习、大数据分析等方法对系统中的大量监控数据进行汇总分析，以期在系统出现异常的时候可以快速的发现问题和判断故障的影响。

问题处理：设计并开发高效的问题处理平台和工具，在系统出现异常的时候可以快速/自动决策并触发相关止损预案，快速恢复服务。

问题跟踪：通过分析问题发生时系统的各种表现(日志、变更、监控)确定问题发生的根本原因，制定并开发预案工具。

变更管理：以可控的方式，尽可能高效的完成产品功能的迭代的变更工作。

配置管理：通过配置管理平台(自研、开源)管理服务涉及到的多个模块、多个版本的关系以及配置的准确性。

发布管理：通过构建自动化的平台确保每一次版本变更可以安全可控地发布到生产环境。

容量管理：在服务运行维护阶段，为了确保服务架构部署的合理性同时掌握服务整体的冗余，需要不断评估系统的承载能力，并不断优化之。

容量评估：通过技术手段模拟实际的用户请求，测试整个系统所能承担的最大吞吐;通过建立容量评估模型分析压力测试过程中的数据以评估整个服务的容量。

容量优化：基于容量评估数据，判断系统的瓶颈并提供容量优化的解决方案。比如通过调整系统参数、优化服务部署架构等方法来高效的提升系统容量。

架构优化：为了支持产品的不断迭代，需要不断的进行架构优化调整。以确保整个产品能够在功能不断丰富和复杂的条件下，同时保持高可用性。

如果你还想了解更多这方面的信息，记得收藏关注本站。