崗位職責:
1. 數據中臺建設與優化
- 負責Hadoop生態(HDFS、YARN、Hive、Spark、Kafka等)為核心的數據中臺架構設計與技術選型。
- 制定數據中臺技術路線圖,解決高并發、海量數據存儲與計算的性能瓶頸問題。
- 設計數據分層模型(ODS/DWD/DWS/ADS)、ETL流程、數據服務化接口,確保數據高效流轉與業務需求對接。
- 推動數據中臺與現有系統(業務系統、數據倉庫、BI工具等)的集成與協同。
2. 數據管理與標準制定
- 建立企業級數據管理體系,包括數據標準、數據質量、元數據管理、數據安全等規范。
- 制定數據生命周期管理策略,優化數據采集、清洗、存儲、計算、歸檔等全流程。
- 協同數據治理項目,推動數據血緣分析、數據資產目錄建設,提升數據可信度與可用性。
3. 技術指導與團隊賦能
- 對數據開發團隊進行技術指導,解決復雜技術問題(如性能調優、故障排查)。
- 制定數據開發規范(代碼規范、任務調度標準、測試流程),提升團隊代碼質量與協作效率。
- 定期組織技術培訓與分享,提升團隊對Hadoop生態、數據建模、實時計算等技術的掌握能力。
4. 項目管理與跨部門協作
- 主導數據開發項目的全生命周期管理,把控需求分析、技術方案設計、開發實施與交付驗收。
- 協調業務部門、產品團隊與IT團隊,確保數據中臺與業務目標對齊,推動數據驅動決策。
- 制定項目計劃與風險管理機制,確保項目按時高質量交付。
任職要求:
計算機、大數據、數學等相關專業本科及以上學歷。
5年以上大數據領域經驗,3年以上數據中臺/數據平臺架構設計經驗,有完整Hadoop技術棧落地項目經驗。
技術能力:
- 精通Hadoop生態組件(HDFS/YARN/Hive/Spark/Flink/Kafka/HBase等),熟悉性能調優與故障排查。
- 熟悉數據倉庫建模理論(Kimball/Inmon)、實時/離線數據處理架構設計。
- 熟悉數據治理框架(如DAMA、DCMM),有數據標準制定與落地經驗。
- 熟悉主流數據庫(MySQL/Oracle/Ocean Base)、NoSQL(MongoDB/Redis)
- 具備優秀的技術領導力,能帶領團隊完成復雜項目,善于跨部門溝通與資源協調。
- 具備業務洞察力,能將業務需求轉化為技術方案,推動數據賦能業務增長。
- 邏輯清晰,具備系統性思維,能獨立解決技術難題并沉淀方法論。
- 有醫藥行業數據中臺建設經驗者優先。
- 有數據湖(Delta Lake/Hudi/Iceberg)或實時數倉項目經驗者優先。
- 熟悉向量數據庫(Vector Database),有AI項目經驗者優先。