崗位職責:
1. 數據建模與設計;20%
運用維度建模/實體關系建模設計數倉邏輯與物理模型,適配業務需求
使用ER/Studio、PowerDesigner工具進行模型可視化設計與優化
2. 數據開發與ETL流程構建;25%
基于Hive/Spark/Flink開發數據處理程序,優化ETL流程
配置Informatica/Kettle工具,調度Azkaban/Oozie任務,保障數據一致性
3. SQL編寫與優化;15%
編寫復雜SQL查詢,優化執行計劃(索引/分區表/語句重構)
管理數據庫對象(表/視圖/存儲過程),提升數據訪問效率
4. 大數據組件應用與維護;20%
部署維護Hadoop/Hive/Spark/Flink集群,調優參數(HDFS/Spark內存)
監控組件運行狀態,協同運維團隊解決故障與性能問題
5. 業務理解與協作。深入理解業務流程,與業務部門協作提供數據解決方案;10%
6. BI工具協作。適配Tableau/PowerBI數據模型,優化BI工具數據呈現邏輯;10%
任職資格:
1、教育背景與職業/執業資格:計算機相關專業本科及以上學歷;5%
2、工作經驗及行業背景:3年以上大數據開發經驗,主導過≥2個復雜ETL項目;20%
3、能力要求(專業技能/語言要求):65%
- 技術能力 精通Hive/Spark/Flink,熟練使用Informatica/Kettle/Azkaban
- 數據建模 掌握維度建模/實體關系建模方法,熟悉ER/Studio/PowerDesigner工具
- SQL與優化 熟練編寫復雜SQL,具備索引優化/執行計劃分析能力
4、人才核心特質要求(除通用標準外):10%
邏輯思維嚴謹、問題解決能力強、跨部門協作高效