崗位職責(zé):
1.數(shù)據(jù)倉庫建設(shè):擁有豐富的數(shù)據(jù)倉庫建設(shè)經(jīng)驗,包括數(shù)據(jù)建模、ETL開發(fā)和設(shè)計等。
2.核心業(yè)務(wù)設(shè)計與開發(fā):負責(zé)大數(shù)據(jù)項目的核心業(yè)務(wù)設(shè)計和開發(fā),確保系統(tǒng)的可用性和高性能。
3.技術(shù)預(yù)研:參與大數(shù)據(jù)相關(guān)技術(shù)發(fā)展方向的預(yù)研,助力業(yè)務(wù)成長,推動技術(shù)創(chuàng)新。
4.數(shù)據(jù)采集與同步:利用Dinky開發(fā)的FlinkSQL代碼消費Kafka中的用戶日志數(shù)據(jù),并將其寫入Doris、Paimon、Hudi和Iceberg的ODS層。使用DolphinScheduler配置SeaTunnel任務(wù),同步MySQL中的業(yè)務(wù)數(shù)據(jù)到Doris的ODS層。
5.數(shù)據(jù)倉庫架構(gòu)設(shè)計:遵循ODS(操作數(shù)據(jù)存儲)-> DWD(數(shù)據(jù)倉庫明細層)/ DIM(維度數(shù)據(jù)層)-> DWS(數(shù)據(jù)服務(wù)層)-> ADS(應(yīng)用數(shù)據(jù)存儲)的四級數(shù)據(jù)分層架構(gòu),確保數(shù)據(jù)在Doris、Paimon、Hudi和Iceberg中的有效流轉(zhuǎn)。
6.數(shù)據(jù)可視化:利用大屏可視化工具和報表工具制作和展示ADS層和DWS層的數(shù)據(jù)報表和數(shù)據(jù)大屏,直觀呈現(xiàn)數(shù)據(jù)洞察。
任職要求:
1.學(xué)歷要求:本科及以上學(xué)歷,計算機、軟件、數(shù)學(xué)等相關(guān)專業(yè)背景,具備3年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗。
2.編程技能:熟悉Java,掌握Linux系統(tǒng)和命令、Shell編程,具備較強的獨立開發(fā)能力,良好的代碼風(fēng)格。
3.大數(shù)據(jù)技術(shù)經(jīng)驗:具有基于PostgreSQL、Doris、Paimon、Hudi、Iceberg、Hadoop、HBase、Kafka等大數(shù)據(jù)技術(shù)的開發(fā)、設(shè)計和調(diào)優(yōu)經(jīng)驗,深刻理解大數(shù)據(jù)基礎(chǔ)架構(gòu)和平臺。
4.流處理技術(shù):熟悉Spark和Flink,深入了解Flink或Spark的原理及底層技術(shù)。
5.ETL與數(shù)據(jù)建模:熟悉數(shù)據(jù)倉庫ETL開發(fā)和數(shù)據(jù)建模,具備大型數(shù)據(jù)倉庫架構(gòu)設(shè)計、模型設(shè)計和性能調(diào)優(yōu)等相關(guān)經(jīng)驗。
上智联,你更值3.74亿+ 职场人的选择 780万+ 高新职位精准推荐