【北京】大数据方向架构师
3-4万元/月
更新 2025-12-25 17:35:32
浏览 509
职位详情
架构师
5-10年
大数据、Hadoop · 数据架构 · 架构师 · 团队Leader
岗位职责:
1.负责电信反诈及互联网治理业务平台的架构设计、架构优化、业务设计与代码审查、技术管理等工作;
2.负责技术方案设计,负责做技术预研、技术选型与技术验证等工作;
3.负责重难点技术攻关,带领团队处理系统故障,指导工程师开发。
4.根据公司代码规范、技术文档要求,审核团队代码,确保团队代码需符合公司代码规范和要求。
任职资格要求:
1、本科以上学历,计算机、通信、电子等相关专业;
2、有团队领导力,具备良好沟通能力,文档撰写能力,同时具备一定抗压能力。
3、工作经验:6年以上大数据开发经验,3年以上作为技术负责人进行项目交付经验。
4、项目经验:
(1)有电信、金融等作为核心技术人员负责大数据项目经验优先。
(2)有反诈、风控、不良消息治理等相关行业经验优先。
(3)有PB级大数据项目经验。
5、核心专业技能:
(1)大数据框架:精通Hadoop生态(HDFS、MapReduce、YARN)、Spark(Core/Streaming/MLlib)、Flink,熟悉Hive、HBase、Kafka等组件的原理与调优。。
(2)数据存储技术:掌握分布式存储(HBase、Cassandra)、OLAP引擎(ClickHouse、Doris),了解关系型数据库与大数据存储的集成方案。
(3)计算与流处理:熟练使用Spark/Flink进行批处理、流处理开发,具备复杂数据计算逻辑设计与性能优化能力。
6、架构设计与工程实践能力:
(1)架构设计:能独立设计高可用、高并发、可扩展的大数据架构,包括数据采集、传输、存储、计算、分析全链路方案。
(2)技术选型:根据业务场景选择合适的大数据组件,平衡性能、成本、稳定性,具备技术方案论证与落地能力。
(3)容量规划:能基于业务增长预测进行存储、计算资源的容量规划,避免资源浪费或瓶颈。
(4)性能调优:精通大数据组件(Spark、Flink、Hive)的参数调优、SQL优化、资源调度优化,解决数据处理延迟、资源占用过高问题。
(5)数据治理:了解数据建模(维度建模、星型模型)、数据质量管控、元数据管理,熟悉数据安全与权限控制方案。
(6)运维与监控:掌握大数据集群的部署、监控、故障排查,熟悉Prometheus、Grafana等监控工具,能制定高可用保障策略。
7、开发语言要求:
(1)编程语言:熟练掌握Java/Scala(大数据核心开发)、Python(数据分析与脚本),具备扎实的编程基础与代码优化能力。
(2)工具与脚本:熟悉Shell、Linux命令,了解基础设施即代码工具,能自动化部署与运维大数据集群。
8、其他能力要求:
(1)业务转化:能将业务需求转化为大数据技术方案,理解核心业务场景的数据诉求。
(2)跨团队协作:能与数据分析师、产品经理、后端开发协作,推动数据链路的打通与优化。
1.负责电信反诈及互联网治理业务平台的架构设计、架构优化、业务设计与代码审查、技术管理等工作;
2.负责技术方案设计,负责做技术预研、技术选型与技术验证等工作;
3.负责重难点技术攻关,带领团队处理系统故障,指导工程师开发。
4.根据公司代码规范、技术文档要求,审核团队代码,确保团队代码需符合公司代码规范和要求。
任职资格要求:
1、本科以上学历,计算机、通信、电子等相关专业;
2、有团队领导力,具备良好沟通能力,文档撰写能力,同时具备一定抗压能力。
3、工作经验:6年以上大数据开发经验,3年以上作为技术负责人进行项目交付经验。
4、项目经验:
(1)有电信、金融等作为核心技术人员负责大数据项目经验优先。
(2)有反诈、风控、不良消息治理等相关行业经验优先。
(3)有PB级大数据项目经验。
5、核心专业技能:
(1)大数据框架:精通Hadoop生态(HDFS、MapReduce、YARN)、Spark(Core/Streaming/MLlib)、Flink,熟悉Hive、HBase、Kafka等组件的原理与调优。。
(2)数据存储技术:掌握分布式存储(HBase、Cassandra)、OLAP引擎(ClickHouse、Doris),了解关系型数据库与大数据存储的集成方案。
(3)计算与流处理:熟练使用Spark/Flink进行批处理、流处理开发,具备复杂数据计算逻辑设计与性能优化能力。
6、架构设计与工程实践能力:
(1)架构设计:能独立设计高可用、高并发、可扩展的大数据架构,包括数据采集、传输、存储、计算、分析全链路方案。
(2)技术选型:根据业务场景选择合适的大数据组件,平衡性能、成本、稳定性,具备技术方案论证与落地能力。
(3)容量规划:能基于业务增长预测进行存储、计算资源的容量规划,避免资源浪费或瓶颈。
(4)性能调优:精通大数据组件(Spark、Flink、Hive)的参数调优、SQL优化、资源调度优化,解决数据处理延迟、资源占用过高问题。
(5)数据治理:了解数据建模(维度建模、星型模型)、数据质量管控、元数据管理,熟悉数据安全与权限控制方案。
(6)运维与监控:掌握大数据集群的部署、监控、故障排查,熟悉Prometheus、Grafana等监控工具,能制定高可用保障策略。
7、开发语言要求:
(1)编程语言:熟练掌握Java/Scala(大数据核心开发)、Python(数据分析与脚本),具备扎实的编程基础与代码优化能力。
(2)工具与脚本:熟悉Shell、Linux命令,了解基础设施即代码工具,能自动化部署与运维大数据集群。
8、其他能力要求:
(1)业务转化:能将业务需求转化为大数据技术方案,理解核心业务场景的数据诉求。
(2)跨团队协作:能与数据分析师、产品经理、后端开发协作,推动数据链路的打通与优化。
相似职位
很抱歉,暂无相似职位!