崗位職責:
1.承擔系統運維工作,包括確保企業系統的穩定運行、性能優化和故障排除;
2.負責數據基礎架構和數據處理體系的升級和優化,不斷提升系統的穩定性和效率,為公司的業務提供數據平臺的支持和保證;
3.負責企業數據平臺的架構設計和技術框架選型,包括集群部署、下游數據集市搭建、數據交換分區架構設計、數據湖或其他轉換系統的搭建,確保數據平臺的高效運轉和數據流暢;
4.具備項目規劃和決策能力,能夠捕捉業務需求和架構設計中的問題,并提出有效的解決方案;
5.擁有較強的編碼能力。設計和開發系統整體功能模塊,主導項目的設計、模塊劃分和架構搭建工作;
6.研究未來數據模型和計算框架的創新和落地,參與制定并實踐團隊的技術發展路線;
7.對接數據治理相關工作。
任職要求:
1.擁有計算機、軟件工程、信息技術、應用數學等相關專業本科及以上學歷,具有2年以上相關工作經驗;
2.具備大數據平臺部署經驗,了解CDH、TDH、華為等國內外大數據平臺架構,能夠獨立部署大數據環境,獨立部署大數據認證如Keyberos、LDAP等;
3.對整個數據流轉鏈路有深刻認識,并具備完善的數據建模理論體系知識;
4.熟悉SQL,熟練使用ORACLE、MYSQL、HIVE等常規數據庫,能夠編
5.寫高效的SQL語句和存儲過程,具有基于Greenplum、Hadoop、 MapReduce、Hive、Storm、Spark、kafka及HBase等應用經驗者優先;
6.熟悉任意一種ETL開發工具:KETTLE、Datastage、Informatic等,具備數據模型設計工具的使用經驗;
7.負責數據模型設計和開發工作,開發、調試和維護存儲過程、函數、包、ETL,進行SQL語句改寫和性能優化;
8.具備出色的數據處理能力,包括但不限于Hadoop生態、Spark生態、kafka及Flink生態的數據處理和優化能力;
9.具有良好的技術選型能力,包括從數據集成、數據存儲、數據計算到數據應用側的組件技術選型;
10.具備數據治理能力,全面了解數據鏈路的數據質量和風險,能夠提出并執行數據治理方案,確保數據鏈路的穩定性和數據質量。