数据处理工程师岗位职责精选32篇

数据处理工程师岗位职责（通用32篇）

数据处理工程师岗位职责 篇1

1.负责海量数据的分析开发工作;

2.完成数据挖掘模型，跟踪模型的实施和效果，定期优化算法和分析策略，分析研究后提供建设性建议;

3.优化大数据存储、计算等各方面性能，确保能从海量大数据信息里，有效进行数据分析和挖掘;

4.根据用户的活动记录进行特征筛选和关联挖掘。提高关联准确性;

5.参与相关数据标准和规范的制定。

数据处理工程师岗位职责 篇2

1.依据项目需求建构数据萃取与转换流程

2.挖掘数据特征，进行数据和特征融合

3.搭建数学模型，并对模型进行检验评估

职位要求：

1、计算机、数学、统计、人工智能等相关专业的硕士或以上学历;

2、二年以上数据挖掘、机器学习相关工作经验，熟悉python、spark、pandas、sklearn等数据分析工具者优先;

3、熟练掌握贝叶斯、随机森林、深度学习等机器学习算法;

4、突出的分析问题和解决问题能力，自我驱动，并且具备较强的学习能力、创新应用能力及沟通协调能力，有良好的'团队合作意识;

5、有国际背景或能熟练使用英文沟通者优先

数据处理工程师岗位职责 篇3

1、进行GIS数据建库和数据处理方案的设计和实现;

2、运用相关GIS软件进行数据空间化处理建库;

3、进行影像识别及处理;

4、进行数据采集处理建库项目管理。

数据处理工程师岗位职责 篇4

1.负责工业设备组网及数据采集方案设计；

2.负责设计方案所需传感器、仪表选型，布线图、数据存储方式、数据表等详细设计；

3.负责与设备厂商、数控系统厂商进行业务协议、通信协议及接口协调；

4.负责现场数据采集相关软硬件安装调试；

5.负责和用户现场对口协调、技术指导及现场培训。

数据处理工程师岗位职责 篇5

1.负责公司产品的现场安装，部署，优化;

2.负责数据库集群的部署和配置升级;

3.定期进行性能检测、分析、调优，数据备份、迁移，保障数据库系统高效安全及稳定运行;

4.负责排查数据库故障，分析和解决疑难问题，提出预防方案。数据库故障处理与灾难恢复;

5.对开发工程师的SQL语句进行审核，SQL优化，及时发现并处理高负载SQL;

6.负责客户单位软件系统的管理和日常维护，;

数据处理工程师岗位职责 篇6

职责描述：

1、负责文本数据处理，如格式转换、分词处理、实体抽取、专业词典整理等；

2、自然语言处理相关工具开发；

3、协助训练nlp模型。

任职要求：

1、计算机相关专业（本科2年以上）；

2、精通c/c++或java，熟悉python、bash？shell等脚本语言；

3、熟悉正则表达式，了解常用分类、聚类算法及相应工具；

4、熟悉使用基本分类、聚类算法及相应工具；

5、具备nlp相关工作（特别是数据处理与分析）经验，了解nlp基本知识；

6、其他：耐心、细致；较强的逻辑思维能力；性格踏实稳定，抗压能力强。

数据处理工程师岗位职责 篇7

1、参与数据仓库建设，负责数据仓库模型设计；

2、开发高质量可扩展的底层数据仓库体系；

3、负责数据仓库系统与业务系统的接口设计和确认工作；

4、负责数据平台相关的管理工作，如数据研发规范、数据质量及稳定性保证等建设；

5、参与公司各个业务线BI、数据产品与应用的数据研发，发觉数据潜在价值。

数据处理工程师岗位职责 篇8

数据处理工程师岗位职责

数据处理工程师1）直接面对客户，参与项目运作中数据处理，了解客户软硬件要求；

2）参与、协助数据收集和模型建构；

3）安装、调试公司软件在客户端上线；

4）开发常用数据处理功能，帮助业务团队提高工作效率；

5）与香港、新加坡和纽约团队合作，为亚太地区技术服务提供支持。·计算机或软件相关专业，本科及以上学历；

·掌握两门以及常见数据库设计开发技术，mysql、oracle、sqlserver、hive等；

·具有参加过etl开发项目，处理过（大）数据经验优先；

·工作细心、认真负责且善于沟通，能快速理解业务，对数据敏感，并能主导项目的进度，保证团队产出。1）直接面对客户，参与项目运作中数据处理，了解客户软硬件要求；

2）参与、协助数据收集和模型建构；

3）安装、调试公司软件在客户端上线；

4）开发常用数据处理功能，帮助业务团队提高工作效率；

5）与香港、新加坡和纽约团队合作，为亚太地区技术服务提供支持。

数据处理工程师岗位职责 篇9

岗位职责:

1.从事数学建模及数据挖掘应用方法研究;

2.与开发部门配合实现相应的数据分析模块的开发;

3.制定公司数据可管理体系,建产研究用数据平台。

任职要求:

1.应用数学、统计学、计算机等专业硕士以上学历;

2.具备常用机器学习、数据挖掘相关知识,会spark;

3.具备一种或多种开发语言(如scalapython java等)的.程序和算法开发能力,掌握常用数据结构和算法;

4.有视频、地图、文本、社交等大数据分析能力;

5.有工业数据分析工作经验者优先。

数据处理工程师岗位职责 篇10

1.从事GIS数据制作、分析、数据管理等工作;

2.编写工作总结和作业流程等文件;

3.通过已经完成的矢量化成果和表格数据库入库和检查工作;

4.利用软件对图形和属性进行检查，并进行错误修改;

5.其他数据制作处理工作。

数据处理工程师岗位职责 篇11

1.负责直播业务相关数据仓库的数据模型设计;

3.参与数据仓库ETL流程设计、开发和优化，解决ETL过程相关技术问题;

3.参与项目规划，数据采集设计，数据仓库开发，模型开发，报表开发等;

4. 总结数据仓库建模的方法，负责数据产品平台化和系统化;

数据处理工程师岗位职责 篇12

1.负责海量数据的分析开发工作;

2.完成数据挖掘模型，跟踪模型的实施和效果，定期优化算法和分析策略，分析研究后提供建设性建议 ;

3.优化大数据存储、计算等各方面性能，确保能从海量大数据信息里，有效进行数据分析和挖掘;

4.根据用户的活动记录进行特征筛选和关联挖掘。提高关联准确性;

5.参与相关数据标准和规范的制定。

要求：

1.熟悉java/scala/python/R中至少一种编程语言，具有良好的.编码习惯;

2.计算机、数学相关专业本科以上学历;

3.2年以上数据挖掘及其相关经验，对常用的数据挖掘算法有较深入了解，有实际算法调优经验 ;

4.熟悉常用数据挖掘算法(聚类/分类/回归/关联规则/图模型)等算法原理，具备实际的建模经验，熟悉常用机器学习算法原理，如朴素贝叶斯/决策树/随机森林/逻辑回归/SVM等，并具备相关应用经验;

5.熟悉hadoop生态，具有spark/flink等实际开发经验;

6.极强的数据敏感度，能从海量数据中挖掘出数据核心价值，相关;

7.熟悉分布式存储，熟悉mysql/oracle、hbase、redis、mogongdb、elasticsearch等，熟悉neo4j/JanusGraph等图数据库优先 ;

8.富有创新精神，充满激情，乐于接受挑战，良好的沟通技巧和团队合作，抗压性强，能适应加班。

数据处理工程师岗位职责 篇13

1、负责每日的数据仓库运维工作，保障数据的稳定性、一致性等;

2、参与数据仓库的优化设计，如元数据、数据权限、调度优化;

3、负责数据质量和数据标准化的设计与开发;

4、负责满足业务部门的日常业务提数与报表需求的开发。

数据处理工程师岗位职责 篇14

1、负责大数据平台搭建及数据仓库建模；

2、负责数据库管理及数据优化；

3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作；

4、维护大数据平台并能解决相关问题，保障平台正常运行；

5、学习和研究新技术以满足系统需求。

数据处理工程师岗位职责 篇15

职责描述：

1、负责poi数据的属性分析、处理和关系挖掘，构建地图领域的知识图谱。

2、负责nlp、数据挖掘、深度学习等方向的前沿算法研发，并结合地图场景优化。

任职要求：

1、计算机、数学或相关专业，三年以上工作经验。

2、熟悉数据结构和算法设计，熟练使用c++、python。

3、熟悉nlp、机器学习、数据挖掘领域的常用算法与工具，对前沿技术保持热情。

4、良好的.分析和解决问题能力，能独立承担研发工作。

5、有地图数据优化工作背景优先。

团队介绍

主要支持北京岗位

对地图（无人驾驶）、广告（广点通）、快报感兴趣的欢迎勾搭

数据处理工程师岗位职责 篇16

1、熟悉掌握业务系统功能，灵活制定不同业务的推广策略，通过活动运营、内容运营等方式策划并落地项目推广方案，拓展系统用户量及影响力。

2、熟悉公文写作，配合完成工作汇报材料的撰写及分析报告。

3、与企业及海关关系的协调和维护，强化合作关系，维护好项目参与方的'关系。

4、面向进出口企业开展调研，主动挖掘系统需求，进行需求分析，形成调研报告或业务需求报告。

5、项目管理相关工作，包括组织业务需求论证、项目立项、进度管理等根据项目管理规范开展相关工作。

6、完成领导交办的其他工作事项。

数据处理工程师岗位职责 篇17

1、利用数据仓库建模及相关技术，参与数据仓库模型的设计。

2、参与企业级大数据仓库项目的落地开发。

3、参与企业级主数据管理项目的实施落地。

4、利用hadoop生态相关技术，负责大数据中心的'数据处理流程，包括数据清洗、融合、统计、挖掘等。

数据处理工程师岗位职责 篇18

岗位职责：

业务数据的收集整理和分析;

负责公安、交通领域的业务建模和算法设计;

分析项目数据需求，完成系统中数据分析模块的设计、实现和测试;

设计、构建和优化基于大数据的存储平台架构，编写相关技术文档;

设计并实现基于开源项目(Cobar，Spark等)的海量数据集成与处理平台;

为其他部门提供数据分析支撑。

任职资格：

计算机相关专业;

熟悉数据挖掘算法，对分类、聚类、时序、图等算法有很深了解;

熟练掌握Hadoop、Spark生态系统组件(MR、HBase、Hive、ZooKeeper、Spark SQL、Spark Mlib等)，有相关大数据架构,开发成功案例;

熟练的使用、开发ETL工具经验，有数据库建模ER建模经验优先;

有海量数据BI或数据挖掘项目实施和管理经验，对数据挖掘理论方法有一定了解者优先;

熟悉的Bash Shell和Python等脚本编程能力;

强烈的责任心和工作热情，良好的团队合作精神。

数据处理工程师岗位职责 篇19

1、3年以上etl开发经验，熟悉etl开发规范和流程；

2、熟练使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一个或多个，有开发、维护经验；

3、熟练编写存储过程，擅长sql优化；

4、熟悉oracle、sqlserver等常用数据库中的`一个或多个；

5、熟悉perl、shell脚本，linux操作系统；

6、有大型数据仓库、bi相关项目的开发经验，精通架构、建模者优先；

7、熟练使用erwin或powerdesigner等进行数据建模；

8、以下经验优先考虑：流式处理、日志处理、数据仓库全日制本科以上学历（985/211），计算机科学与技术/软件工程/数据相关专业

1、3年以上etl开发经验，熟悉etl开发规范和流程；

2、熟练使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一个或多个，有开发、维护经验；

3、熟练编写存储过程，擅长sql优化；

4、熟悉oracle、sqlserver等常用数据库中的一个或多个；

5、熟悉perl、shell脚本，linux操作系统；

6、有大型数据仓库、bi相关项目的开发经验，精通架构、建模者优先；

7、熟练使用erwin或powerdesigner等进行数据建模；

8、以下经验优先考虑：流式处理、日志处理、数据仓库

数据处理工程师岗位职责 篇20

岗位职责：

1.参与金融大数据平台系统和算法的研发和优化;

2.基于大数据金融场景，进行信用风险模型，风控模型，营销模型的创新设计;

3.与业务部门沟通合作，将数据模型应用于实际业务。

任职要求：

1.计算机相关专业硕士及以上学历，至少7年以上相关工作经验;;

2.具有良好的商业敏感度和优秀的数据分析技能，能够开发创新而实际的.分析方法以解决复杂的商业问题。

3.熟悉机器学习的一般模型;例如分类.聚类.预测，理解一些常用的特征选择和矩阵分解算法。

4.熟悉深度神经网络和常用模型(如CNN，DBN，sparseconding,RNN等)，有Caffe或Theano或ConvNet的实践经验。

5.在语义理解检索(如知识图谱表示.结构化预测.语义解析.信息检索.知识挖掘等)有过深入的工作与研究。

6.较强的自学能力.优秀的逻辑思维能力和良好的沟通表达能力和敬业精神。

7.具备良好的系统分析能力，良好的抽象思维和逻辑思维能力，独立分析问题解决问题的能力;

8.可承受较大压力，有责任感，较强的沟通协调能力，具有团队合作精神;

9.有互联网公司.大型金融企业和大型IT企业工作经历的优先。

数据处理工程师岗位职责 篇21

任职要求：

1、软件、计算机、通讯等理工科相关专业本科及以上学历；

2、具有3年配置管理或产品数据管理经验；

3、熟悉计算机与网络管理；

4、熟悉配置管理与产品数据管理知识，熟练掌握svn、plm等数据管理平台的`操作与管理；

5、熟悉系统与信息安全知识；

6、具有较强的逻辑思维能力及良好的沟通能力，良好的主动学习能力及执行力。

数据处理工程师岗位职责 篇22

数据处理工程师（大数据项目）全成通信上海全成通信技术有限公司，全成通信，全成岗位职责：

1、负责大数据平台的日常维护和监控

2、负责大数据项目日报发布工作

3、负责日报数据的统计

4、负责大数据项目日常数据的计算、分析和维护

任职要求：

1、一年以上相关工作经验，有电信行业经验者优先

2、熟悉linux和excel，熟练使用perl或者其他的'脚本语言

3、具有oracledll/dml技术的使用经验

4、具有良好的团队合作精神，有较强的学习能力、适应能力、沟通能力

数据处理工程师岗位职责 篇23

1、维护数据库稳定运行，持续发现和解决潜在的问题；

2、负责数据库的性能优化，使用新技术和新架构满足日益增长的业务需求；

3、负责数据库的监控系统设计，为开发团队提供平台支持；

4、负责数据库的运维方面的相关工作，包括数据库的安装部署、压力测试、备份恢复、知识库管理等

5、负责数据库进行容量规划、架构设计，提高业务高可用性和容灾能力；

6、负责数据库相关工作的整体规划，提供决策建议。

数据处理工程师岗位职责 篇24

1.针对用户行为预测业务，负责用户画像、订单特征体系建设，包括离线数据产出以及服务化;

2.针对用户端上行为产出的实时数据流，挖掘实时特征并服务化;

3.针对客服场景，挖掘实时用户行为异常以及进线异常;

4.针对智能客服场景用户标签挖掘，人群挖掘等工作，支持智能运营方向的业务;

5.负责开发并维护智能客服业务的特征服务系统。

数据处理工程师岗位职责 篇25

岗位职责：

深入研究业内领先的技术思路，输出具有创新价值的预研项目可行性分析报告以及相关实验数据;

负责产品、销售、供应链、电商等公司数据的海量挖掘，并建立和优化用户标签、特征模型、产品精准匹配、异常预警等;

负责大数据下传统机器学习算法的并行化实现及应用，并提出改进方法和思路;

参与公司大数据架构，负责BI实施中的数据挖掘模块算法研究、模型建立和优化，帮助实现数据挖掘和分析平台的建设;

负责相关数据挖掘项目的需求收集、项目建立、项目设计开发和结果输出质量把控，通过数据挖掘结果驱动业务执行;

配合技术进行数据挖掘模型开发和模型封装，例如决策规则模型、预警模型、流失模型、效果标杆模型、客户生命周期管理模型等;

任职要求：

大学本科及以上学历，统计学、计算机、信息技术、数学相关专业;

两年以上数据建模经验;

数据主流数据库，mysql、oracle、DB2等传统结构化数据仓库，熟悉HBase、MongoDB等非结构化数据库;

熟悉常用的聚类、分类、回归、关联、时间序列等监督式和非监督式学习算法;

熟悉R、Python、MLlib等数据挖掘工具中至少一种。

熟悉spark、storm等大数据计算框架者优先。

数据处理工程师岗位职责 篇26

1、空间数据采集、内业处理;

2、电子地图制作、配图以及地图服务发布;

3、编制空间数据建库工作文档;

4、对成果数据的分类整理、归档;

5、领导安排的其他工作任务。

数据处理工程师岗位职责 篇27

1、参与部门项目的售前工作，参与现场交流，深入挖掘用户需求，编写投标方案，参与投标;

2、完成所负责项目的需求规格说明书的编写，并向项目组开发人员和测试人员讲解需求，如需求发生变化及时调整需求。

3、完成所负责项目的概要设计，并解决项目进展过程中的需求与设计问题;

4、可承担部分项目经理的职责，组织相关资源对项目工作进行计划/控制/调整;

数据处理工程师岗位职责 篇28

岗位职责：

1、对通信和金融业务数据进行分析和挖掘，满足研发和运营等部门的业务需求和决策需求;

2、能根据业务特点选择最合适的数据挖掘算法，并做调优;

3、支持数据分析、挖掘算法平台的部署和日常运营;

4、撰写分析类报告。

任职资格：

1、大学本科或本科以上统计学、数学或其他相关专业，对数据结构熟悉;

2、熟练使用python进行数据分析、处理、可视化。熟悉numpy/pandas/matplotlib等常用模块。熟练使用sql,最好用过hive-sql或spark-sql;

3、对hadoop/spark有一定了解。能够简单使用hadoop系列命令;

4、对线性回归，决策森林，xgboost，评分卡等数据挖掘相关算法有一定了解;

5、做过web接口调试，熟悉json者优先;

6、熟练掌握PPT和EXCEL制作;

7、具备良好的学习、沟通与表达能力，具有较强的团队合作精神，对工作富有热情，能承受工作压力;

8、有运营商或金融类相关数据经验工作优先考虑;

9、能适应中长期现场出差。

数据处理工程师岗位职责 篇29

1、学习并理解励步云学业务及系统，根据业务部门需求对公司各项业务数据进行统计分析，出具相关报表；

2、进行数据仓库设计、模型开发、数据质量校验，报表开发；

3、进行数据差异分析，找出统计口径、数据错误、操作错误等造成的差异原因；

4、进行数据查询优化，解决跑数性能问题。

数据处理工程师岗位职责 篇30

1、针对具体的业务场景需求、定义数据分析及挖掘问题;

2、使用统计学分析方法、挖掘算法、构建有效且通用的数据分析模型，对数据挖掘方案进行验证、开发、改进和优化，实现数据挖掘的功能应用;

3、搭建高扩展高性能的数据分析模型库，作为数据分析团队的基础工具;

4、完成领导安排的其他工作。

数据处理工程师岗位职责 篇31

1、负责产品数据库研发，参与系统整体架构设计；

2、根据产品目标负责相关业务的数据分析、建模、设计评审，跟进产品过程中数据库设计；

3、负责产品模块的数据层分析、设计、编码、测试；

4、能够独立完成产品数据层开发任务，负责各类数据接口开发；

5、负责各类型数据操作处理和兼容问题；数据库复杂SQL开发和调优。

数据处理工程师岗位职责 篇32

岗位职责：

1、负责构建公司数据分析与数据挖掘业务分析体系,整体架构设计、规划,充分发挥数据的价值,提高数据质量,促进公司业务更好的发展;

2、通过建立业务的数据分析模型来指导业务的发展,对数据库信息进行深度挖掘和有效利用,充分实现数据的商业价值,构建公司核心竞争力;

3、跟踪并分析用户行为,为公司广告业务的发展及产品的设计进行海量数据支持;

4、负责数据管理中心团队的建设、发展、激励、培训等管理工作,有效领导数据分析与挖掘团队支持和推动业务发展。

任职要求：

1、热爱数据,对数据及逻辑关系敏感,并对数据体系有深入的认识;

2、本科以上学历、计算机/统计学/经济学等相关专业，有一定工作经验，;

3、具备数据建模(机器学习,数据挖掘,信息检索背景)和分析理论知识和经验;

4、熟悉Linux平台的海量数据分布式存储、分布式计算;

5、熟悉常用的数据分析工具，有基于Hadoop的云计算平台，HBase及类似的NoSQL存储, MySQL,和BI系统等实践经验;

6、熟悉互联网并且对于互联网常见的业务形态与商业模式有深入的理解,对业务变化有敏锐的洞察力;

7、有较强的对业务理解与分析能力，了解业务规划与策划能力以及相应经验;

8、具备较强的问题定位、分解、解决能力及计划和组织能力;

9、善于创新、思维敏捷、精力充沛，沟通能力强，能够承受较大工作压力;

10、有电子商务或互联网数据仓库或商业智能架构设计、开发实施经验者优先。