数据架构师岗位职责第1篇职责:1、大数据平台的规划、设计、实施,并优化数据库;2、对数据库进行管理,负责数据库应用系统的运营及监控;3、对数据库性能分析与调优,排错,保证数据正确率;4、配合其他部门进下面是小编为大家整理的数据架构师岗位职责24篇,供大家参考。
数据架构师岗位职责 第1篇
职责:
1、大数据平台的规划、设计、实施,并优化数据库;
2、对数据库进行管理,负责数据库应用系统的运营及监控;
3、对数据库性能分析与调优,排错,保证数据正确率;
4、配合其他部门进行的数据处理、查询,统计和分析工作;
5、完成公司下达的项目开发任务。
任职要求:
1、计算机及相关专业本科以上学历,5年以上软件开发从业经验,其中包括至少2年以上的大数据开发工作经验;
2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构,有管理或优化大型分布式集群经验;
3、熟悉linux基本命令,精通SQL脚本的编写,有丰富的数据库管理、运维调优经验;
4、熟悉C++、Java、C#等开发语言;
5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;
6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;
7、快速处理系统突发事件的能力,较强的学习和创新能力;
8、良好的沟通能力和团队合作精神。
数据架构师岗位职责 第2篇
职责:
负责产品级业务系统架构(如业务数据对象识别,数据实体、数据属性分析,数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计,从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性,并对系统质量负责。
负责云数据平台的架构设计和数据处理体系的优化,推动云数据平台建设和持续升级,并制定云数据平台调用约束和规范。
结合行业应用的需求负责数据流各环节上的方案选型,主导云数据平台建设,参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。
对云数据平台的关注业内技术动态,持续推动平台技术架构升级,以满足公司不同阶段的数据需求。
任职要求:
熟悉云计算基础平台,包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基础环境,熟悉控制、计算、存储和网络;
掌握大型分布式系统的技术栈,如:CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。
精通 Java,Python,Shell 编程语言,精通 SQL、NoSQL 等数据库增删改查的操作优化;
PB 级别实战数据平台和生产环境的实施、开发和管理经验;
熟悉 Docker 等容器的编排封装,熟悉微服务的开发和日常调度;
计算机、软件、电子信息及通信等相关专业本科以上学历,5 年以上软件工程开发经验,2 年以上大数据架构师工作经验。
数据架构师岗位职责 第3篇
职责:
负责数据仓库建设,基于数据驱动构建企业级数据模型,根据架构设计进行各层数据模型开发。
面向PB级别超大规模数据处理和查询需求,设计适合业务变化的合理的多维数据分析系统架构,满足多样性需求。
构建设计良好的数据流、调度系统、查询引擎、监控系统,保证系统稳定高效运行,以实现数据的最大价值。
指导团队成员开展数据仓库建设。
参与重点项目的评审,参与企业数据管理体系建设。
任职要求:
统招本科及以上学历。
从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与ETL开发经验 ,掌握Kimball的维度建模设计方法,具备海量数据加工处理(ETL)相关经验 。
具有一定数据模型和数据架构基础,熟悉hadoop\hive和常用数据库。
精通SQL,有一定的SQL性能调优经验,熟悉hive sql的开发。
具有管理团队开发经验,具备良好的组织能力、协调能力及项目管理能力。
具有较好的文字功底及语言表达能力,能够快速、准确地理解需求。
具有专研、快速学习和创新精神,具备独立分析问题和解决问题的能力。
具有责任心,时间观念强,工作独立性强,有良好的团队合作精神。
全日制普通本科毕业。
数据架构师岗位职责 第4篇
职责:
1、对业务需求深入分析,从而进行大数据平台核心应用的架构设计、开发和技术支持;
2、规划业务应用系统和基础平台的技术架构,参与需求分析、建模、架构设计、技术决策以及详细设计;
3、把握复杂系统的设计,确保系统的架构质量,编写核心部分代码;
4、带领团队攻克例如大数据量、高并发、高稳定性等带来的各种挑战及技术难关;
5、在大数据平台建设路线图指导下,进行架构实施和交付物投递,同时确保研发质量和方向的准确性;
6、进行团队技术的培训和梯队建设岗位要求;
任职条件:
1、本科或以上学历,计算机相关专业,8年以上研发经验,3年以上大数据平台相关工作经验;
2、精通Java开发技术,熟悉Shell、Scala语言和PYTHON优先;
3、编程基础扎实,熟悉I/O、多线程、集群等基础框架和原理,熟悉分布式、缓存、消息等机制;
4、熟悉常用设计模式,代码评审规则,单元测试,持续集成;
5、熟悉AWS云服务或阿里云服务;
6、熟悉容器技术原理、生态系统,熟悉Docker、Mesos、Kubernetes等容器系统、大规模容器资源调度系统、分布式应用生命周期。
数据架构师岗位职责 第5篇
职责:
1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;
2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;
3、进行大数据系统框架设计、模型算法开发;
4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;
5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;
任职资格:
1、本科以上学历(持有学士学位)(985,211优先),计算机相关专业,五年工作经验;
2、二年以上数据挖掘项目经验,完整参与过数据挖掘大数据平台的架构开发过程,具备互联网行业背景优先;
3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验,熟练掌握Hive/SQL,Python,熟悉Python、R相关数值科学计算库(NumPy,SciPy等);
4、了解传统的BI/DW 理论,能结合传统BI***实践设计大数据平台;
5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理,具备应用场景经验,如用户画像、商品关联度分析、舆情分析;
6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;
7、具备较强的逻辑思维能力、数据敏感度,擅于利用数据发现问题及解决问题;
数据架构师岗位职责 第6篇
职责:
负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化,不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。
负责制定大数据平台调用约束和规范;
负责大数据方向技术难题的解决,以及代码质量的把控;
作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养,分享技术经验,撰写相关技术文档指导和培训工程师。
任职要求:
热衷于大数据技术,并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;
熟悉服务器基本知识,能够评估系统硬件性能瓶颈;
掌握Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题,并能提供解决问题的理论依据;
精通Java服务器编程,熟悉JVM原理,对数据结构和算法设计有较为深刻的理解;
精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底层架构,熟悉原理、源码、集群部署,包括参数优化、Bug修复,贡献过代码或提交过bug者优先
具备数据中心资源管理、监控、调度等系统研发经验者优先,具备分布式系统研发经验者优先;
具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;
具有良好的文档编写能力,可进行方案设计、架构设计。
数据架构师岗位职责 第7篇
职责
1、负责大数据架构设计,包括定义数据的存储、集成(ETL)、应用,支撑业务运营和数据分析类需求实现;
2、制定数据治理领域的数据体系化管理措施,包括元数据设计、数据标准、数据质量、数据处理、数据安全等工作,确保数据可信与安全;
3、基于行业数据积累,满足业务的数据挖掘需求,实现从数据到资产的转变,根据目标行业建立具有前瞻性的数据模型;
4、对各产品的数据安全负责,主导制定和实施数据库系统安全策略,保证整体方案数据安全;
岗位要求
业务技能要求:
1、深入理解云化、数据仓库,在参与过的系统设计中,必须涉及这两项关键技术;
n2、精通或者熟悉Hadoop体系架构,以及HDFS/HBase/Hive/MapReduce/Spark等技术,了解体系架构各组件的优缺点,有直接的产品设计与开发、部署、调优的经验;
3、精通或熟悉常见RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及开发,了解各数据库优缺点, 熟悉与架构设计相关的数据存储、性能调优等相关领域知识,有相关项目经验尤佳;
4、熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案,具有数据分析或数据挖掘相关经验者优先;
n5、熟悉数据治理相关流程,包括数据接入、数据处理、数据治理、数据组织、数据服务等。
专业知识要求:
1、具备数据治理的知识与体系方案,包含政策、组织、角色、流程、规范等,以及规划相应的支撑方案。了解业界的数据管理方法论;
2、具备数据用例设计和开发能力。能够基于业务相关数据进行业务需求分析和痛点识别,将业务需求转化为数据的需求,完成数据用例的设计和开发;
3、精通海量数据(日增量百亿)级别数据仓库、数据集市的构建流程。熟悉公安、政务、工业、交通、医疗等多行业业务者优先。
数据架构师岗位职责 第8篇
职责:
1、负责大数据平台及BI系统框架设计、规划、技术选型,架构设计并完成系统基础服务的开发;
2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储,业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;
3、开发大数据平台的核心代码,项目敏捷开发流程管理,完成系统调试、集成与实施,对每个项目周期技术难题的解决,保证大数据产品的上线运行;
4、负责大数据平台的架构优化,代码评审,并根据业务需求持续优化数据架构,保证产品的可靠性、稳定性;
5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现,分享技术经验;
6、有效制定各种突发性研发技术故障的应对预案,有清晰的隐患意识;
7、深入研究大数据相关技术和产品,跟进业界先进技术;
【任职要求】
1、统计学、应用数学或计算机相关专业大学本科以上学历;
2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点),无埋点方案等,有埋点SDK独立开发经验者优选;
3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具备实际项目设计及开发经验;
4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程
5、熟悉Liunx/Unix操作系统,能熟练使用shell/perl等脚本语言,熟练掌握java/python/go/C++中一种或多种编程语言
6、具备一定的算法能力,了解机器学习/深度学习算法工具使用,有主流大数据计算组件开发和使用经验者优先
7、熟悉大数据可视化工具Tableau/echarts
8、具有较强的执行力,高度的责任感、很强的学习、沟通能力,能够在高压下高效工作;
数据架构师岗位职责 第9篇
职责:
1、负责spark, hadoop, flink等开发和优化。
2、参与前期需求沟通和分析,以产品化开发的思维,完成需求分解和数据架构设计。
3、与研发和数据科学家合作保证产品定义清晰,按时完成产品上线。
4、能够洞察市场状况,与各部门合作转化为基于大数据挖掘的新策略或方案.
5、主动创造和发掘新的基于大数据挖掘产品商业模式.
任职要求:
1、全日制本科及以上学历,计算机软件相关专业,5年以上开发经验,3年以上架构经验
2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分布式数据存储和分布式计算平台原理,流式计算开发,有开源二次开发经验者优先。
3、精通大数据挖掘、机器学习.熟练掌握Java/Perl/Python至少一种编程语言。
4、具有数据挖掘和分析、机器学习等项目实施相关经验者优先;
5、良好的跨部门沟通合作能力,解决不同观点能力并取得结果。具备敏锐的互联网产品理解力,学习能力和逻辑思维能力强;
6、较强的自我驱动力、推动和协调能力,强烈的责任心和团队合作精神;
数据架构师岗位职责 第10篇
职责:
参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;
统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;
负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作
根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;
定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。
任职要求:
本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉BI平台、大数据系统相关技术架构及技术标准;
熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;
熟悉大数据相关技术:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
熟悉制造企业信息化系统及相关数据库技术;
具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;
对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;
有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。
数据架构师岗位职责 第11篇
职责:
1、大数据平台架构规划与设计;
2、负责大数据平台技术框架的选型与技术难点攻关;
3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作,根据系统的业务需求,能够指导开发团队完成实施工作;
4、负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为相关的业务提供大数据底层平台的支持和保证;
5、培养和建立大数据团队,对团队进行技术指导。
任职要求:
1、计算机相关专业的背景专业一类院校毕业本科、硕士学位,8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);
2、精通相关技术,精通常见开源框架的架构,精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构;
3、精通SQL和Mapreduce、Spark处理方法;
4、精通大数据系统架构,熟悉业界数据仓库建模方法及新的建模方法的发展,有DW,BI架构体系的专项建设经验;
5、对大数据体系有深入认识,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术,并能设计相关数据模型;
6、很强的学习Java,J2EE、分析和解决问题能力,可以迅速掌握业务逻辑并转化为技术方案,能独立撰写项目解决方案、项目技术文档;
7、具有较强的内外沟通能力,良好的团队意识和协作精神;
8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;
9、具有能源电力行业工作经验者优先。
数据架构师岗位职责 第12篇
职责:
1、 负责大数据仓库、数据集市的规划及实现,负责大数据中台的设计和核心开发工作;
2、 负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为公司的业务提供大数据底层平台的支持和保证;
3、 大数据平台的数据采集、处理、存储以及挖掘分析的架构实现;
4、 研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线
任职资格:
1、 精通数据建模、数据标准管理、元数据管理、数据质量管理;
2、 有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;
3、 熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于:hadoop、flink、spark等;
4、 性格积极乐观,诚信,能自我驱动,有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力; 在数据业界有一定的影响力优先,具有风控经验背景的人优先;
5、 具备独立的深度思考能力,给出结合实际情况的较为理想的技术解决方案。
数据架构师岗位职责 第13篇
职责:
1、负责大数据项目或产品中架构设计、数据仓库公共层与应用层建模;
2、负责大数据项目或产品中业务需求的需求理解、数据指标维度需求梳理、数据探查和分析,指导技术团队进行工作;
3、负责大数据项目中的具体技术管理工作,完成验收目标。
4、发现并解决数据质量问题,推动整体数据质量提升。
任职要求:
1、计算机相关专业,3年以上数据研发与数据仓库相关开发经验;
2、熟练掌握维度建模方法,有大型数仓构建经验优先;
3、精通Oracle/DB2/Teradata等主流数据库编程,有较好的SQL性能调优经验;
4、扎实的编程基础和动手能力,精通至少一门编程语言,有大数据、分布式开发经验尤佳;
5、有良好沟通协调能力,有带领小团队或项目管理工作经验;
6、具备很强的责任心,做事细致、严谨,同时需要具备较强的沟通和学习能力,能快速理解行业的需求,对农业等行业数据应用有经验者优先;
7、能够接受出差。
数据架构师岗位职责 第14篇
职责:
1)负责大数据平台系统架构设计、核心开发工作(Hadoop&Spark技术方向),基于业务场景设计最优的系统解决方案。
2)构架支持大数量级的数据的大数据平台系统,及相关监控,拓展系统设计及实现。
3)利用Hadoop、Spark等大数据技术对海量数据进行处理,支持BI和数据科学(建模)的应用实现。
4)对现有系统的进行架构深入分析及系统优化,进一步提升系统的性能及数据处理能力。
任职资格
1)统招本科或以上学历,计算机相关专业, 5年以上软件开发经验、3年以上大数据项目经验。
2)具备较丰富的大数据平台相关构建,维护及调优经验,有大数据量级下的大数据集市相关经验。
3)具备较丰富的基于Hadoop或Hive或Spark等大数据处理项目经验,具备一定的数据挖掘经验。
4) 具有阿里云的EMR(emapreduce)的经验者优先考虑。
5)具有良好的业务理解、沟通和协作能力,具有较强的学习和总结能力。
6)优秀的团队合作精神、诚实、勤奋、严谨,敢于接受挑战。
7)机器学习技术、数据挖掘经验丰富者优先考虑。
数据架构师岗位职责 第15篇
负责数澜大数据平台的架构设计和研发,建立数据生态服务,解决海量数据面临的挑战;
管理和优化Hadoop、Spark等集群,计算作业的调优,保证集群和平台的高效和稳定;
负责Hadoop、Spark、Flink的功能、性能和扩展,解决并实现业务需求;
负责大数据产品的自动化、离线与实时计算、即席计算、数据质量、数据安全、机器学习等平台的设计和开发;
调研和把握当前的最新技术,将其中的先进技术引入到自己的平台中,改善产品,提升竞争力;
数据架构师岗位职责 第16篇
职责:
1、负责大数据平台架构的评估、规划和设计 ;负责海量数据采集、处理及存储、应用方案的技术选型及架构实现;
2、开发大数据平台的核心代码,负责大数据平台的搭建,完成系统调试、集成与实施,技术难题的解决,保证大数据产品的上线运行 ;
3、根据业务需求持续优化数据架构,保证产品的可靠性、稳定性 ;
4、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现 ,分享技术经验;
5、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;
6、深入研究大数据相关技术和产品,跟进业界先进技术;
任职资格:
本科及以上学历,数学或计算机相关专业毕业,不少于5年的工作经验,具有扎实的计算机基础理论知识;
有3年以上Hadoop、Spark、Hbase平台性能调优经验;熟悉sparkstreaming等实时计算技术
熟悉hive、hbase、storm、mahout、flume、ElasticSearch、Spark、Kafka等,具备实际项目设计及开发经验;
熟悉sparkstreaming等相关的实时计算技术;
熟悉大规模数据挖掘、机器学习、自然语言处理、分布式计算中一项或多项技术,并具备多年的实际工作经验;
熟悉主流关系型数据库(Oracle、MySql)、NoSql数据库,熟悉pl/sql编程;精通Linux操作系统,熟练使用Java;熟悉常用框架.如Spring、MyBatis等;
具有较强的执行力,高度的责任感、很强的学习、沟通能力,能够在高压下高效工作;
数据架构师岗位职责 第17篇
职责:
1、负责大数据项目技术架构评估与设计;
2、负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;
3、负责对使用关键技术的预研和选型,完成PoC;
4、指导工程师完成开发工作,并能分享技术经验。
任职要求:
1、3年以上相关工作经验,其中具有1年以上架构设计经验
2、熟悉商业智能系统相关技术,如 ETL、数据仓库、OLAP开发;
3、精通设计模式,熟悉面向服务架构(SOA)以及其它常用软件架构思想,有SOA方案设计、开发实施的实际经验,要具备实际的服务规划、服务粒度划分经验;并且要善于设计可重用组件和可定制化产品。
4、相关技术栈:Java /Scala/Flume/Hive/Kafka/HBase/ Spark/Storm/Redis;
5、有扎实的计算机基础,熟悉Java等编程语言;
数据架构师岗位职责 第18篇
职责:
1、负责DMP技术架构设计与构建,根据业务规划及技术规划制定应用架构方案;
2、负责设计构建DMP数据采集、存储及分析框架,设计数据处理的技术流程和规范;
3、负责核心功能的架构与代码模板编写,开发与维护系统公用核心模块;
4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。
岗位要求:
1、计算机或相关专业本科以上学历,三年以上的开发经验,二年以上大数据相关软件架构的实际经验;
2、精通大数据处理技术,熟悉Hadoop/Storm技术体系,有Hadoop、Hive、Hbase项目经验;
3、具有较强的架构能力,具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;
4、对数据敏感,洞察力强,了解国内外广告发展趋势;
、擅长系统分析与设计,精通常用的设计模式,擅长性能调优;
6、熟悉DMP/RTB技术原理,了解用户的行为分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等广告行业从业经历。
数据架构师岗位职责 第19篇
职责:
能够带领技术人员基于hadoop平台进行海量数据应用系统开发;
负责结构化和非结构化数据的解析和清洗,海量数据查询和报表展现;
负责超大规模数据平台的搭建、维护和优化;
负责大数据采集、存储框架研究,参与在线或离线数据存储模型设计;
负责大数据平台新技术的开发使用和性能优化,测试。
任职资格:
计算机相关专业本科及以上学历;
熟悉hadoop相关各种开源项目,比如HDFS/Hive/Hbase等有实际应用。(5年以上开发经验者优先);
两年以上熟练编写mapreduce代码经验,有三年以上网络日志分析、ETL经验。熟悉日志分析框架chukwa,flume,scribe者优先;
两年以上海量数据存储的安装部署、优化、二次开发经验,对大规模数据存储、传输、处理等有丰富的经验;
在数据挖掘、数据密集型处理、分布式计算、网格计算领域有深入理论基础;
具有较强的文档撰写能力,较强的团队精神和合作精神,对工作有热情,能承受压力。
数据架构师岗位职责 第20篇
职责:
根据大数据业务需求,设计大数据方案及架构,实现相关功能;
搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;
负责大数据业务的设计和指导具体开发工作;
负责公司产品研发过程中的数据及存储设计;
针对数据分析工作,能够完成和指导负责业务数据建模。
职位要求:
计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;
精通大数据主流框架(如 Hadoop、hive、Spark等);
熟悉 MySQL、NoSQL(MongoDB、Redis)等主流数据库,以及rabbit MQ等队列技术;
熟悉hadoop/spark生态的原理、特性且有实战开发经验;
熟悉常用的数据挖掘算法优先.
数据架构师岗位职责 第21篇
职责:
负责公司大数据产品架构的设计与实现;
配合大数据产品经理完成产品的快速研发与交付;
负责大数据产品架构的持续优化设计;
负责大数据产品核心组件设计;
负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;
为应用开发团队提供技术支撑。
任职要求:
本科及以上学历,3年以上的大数据开发经验、
2年以上大数据架构设计经验;
丰富的JAVA研发经验,精通JAVA,熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);
精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有数据挖掘、机器学习相关应用或研究背景;
沟通能力较好,积极主动意识较强,责任心较强。
数据架构师岗位职责 第22篇
职责:
负责大数据平台的基础技术规划,编制相关规范文档。
负责大数据平台的数据采集,处理,存储以及挖掘分析的架构实现。
负责大数据平台的实际规划建设,包括环境和框架的规划搭建以及部分核心编码工作。
负责大数据相关技术发展方向的预研。
参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目。
制定大数据平台中数据质量,业务质量监控及管理办法。
岗位要求:
全日制本科及以上学历,5年以上工作经验,4年及以上大数据架构设计经验,熟悉大数据解决方案,包括Hadoop平台、Spark、storm、机器学习、深度学习等大数据解决方案。
深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。
精通大型数据库Oracle、SqlServer等的开发。
精通java,Python中的一种或多种语言。
熟悉容器、虚拟化、微服务框架等相关技术。
对数据敏感,有严谨的工作思路,良好的沟通能力和团队合作精神。
熟悉R,Python,SAS、SPSS等数据挖掘经验者优先。
高宽展性,高性能,和分布式系统的实践及运维经验者优先。
有大型数据仓库实施、大数据平台数据开发经验,熟悉运营商业务者优先。
数据架构师岗位职责 第23篇
职责:
1)负责公司软件产品整体架构的设计和关键功能实现
2)负责公司架构长期看护以及优化;
3)负责软件部门各模组间的协调配合;
4)提高巩固软件代码质量;
5)负责大数据流式框架的设计、优化及部署;
6)规划研发部门员工的技术发展路线并提供必要的帮助和指导
任职资格:
1)本科及以上学历,计算机相关专业,5年以上工作经验;
2)频繁换工作,比如一年一个公司,请绕路;
3)3年以上产品架构经验,主导过产品的成功上线;
4)对底层设备通讯协议,B/S系统,手机APP开发等都有一定的了解;
5)对各种主流语言C#\Java\Pathon有一定的了解
5)精通各种大数据架构,并深入研究过其中一种,有storm\kafka等流式实时处理经验为佳
6)能够承担较强的工作压力,有良好的自我驱动能力和责任感;
7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。
数据架构师岗位职责 第24篇
1、负责大数据平台资源规划、权限控制、运维架构设计,为各产品业务提供稳定、高效、安全的运行环境;
2、负责实时,离线数据分析处理及实时平台的建设和搭建
3、熟悉 Flink 流式计算引擎的使用以及源码原理,并且有相关的流式处理平台的经验。
4、Java基础扎实,熟练掌握垃圾回收,网络,多线程编程,了解 python 或 scala
5、负责大数据平台技术架构、数据架构的分析与设计;