岗位职责
1、构建分布式大数据服务平台,包括数据存储、离线/实时计算、实时查询,大数据系统运维等
2、服务各种业务需求,为数据需求部门及算法团队提供数据支援
3、负责各产品线数据 ETL,落地数仓
岗位要求
1、熟练的编程和调试能力,熟悉至少一种主流编程语言, 如 Java, Python, Go
2、熟练掌握 Kafka Streaming、Flink、Spark 等大数据流批一体框架
3、熟悉 Apache Doris、ClickHouse,一年以上相关经验
4、深入了解大数据计算平台架构和产品组件原理和应用场景,如 Pulsar、Kafka、Hive、Flink、Spark、AWS、GCP、阿里云 EMR等
5、熟练在 Linux 上工作
工作地点:深圳