. 參與車控算法的RD和開發項目,負責車控算法數倉建立、數據集成的工作;
2. 設計和開發高效、可擴展的ETL數據管道,優化數據清洗、轉換和加載流程;
3. 參與數據倉庫(如Hive、ClickHouse)、實時數倉(如Flink、Kafka)的架構設計與開發;
4. 對接業務需求,開發數據服務接口,為數據分析、機器學習等場景提供高質量數據支持;
5. 解決大數據集群的性能瓶頸,調優Hadoop/Spark/Flink等框架的資源利用率與計算效率;
職位要求
1、本科及以上學歷,統計學、計算機科學等相關專業背景,5年;
2、精通Java/Scala/Python至少一門語言(其中python必選),熟悉Linux開發環境與腳本編程;
3、深入理解并掌握Hadoop生態(HDFS/YARN/MapReduce)及Spark/Flink計算引擎的開發應用,有性能調優經驗;
4、熟悉數據倉庫建模理論(維度建模、分層設計),掌握Hive、HBase、Kafka等組件的原理與應用;
5. 熟練使用OLAP引擎(如Doris、ClickHouse)和SQL優化技巧;
6、熟練使用主流可視化工具(Superset,Davinci等 )設計開發數據看板;
7. 如能使用統計分析和機器學習技術對數據進行建模和分析者優先;