職位描述
工作職責要求:
1、負責大數據平臺基礎架構持續優化、可靠性能力建設、故障應急處理以保障平臺穩定運行;
2、負責數據治理、數字化應用對大數據平臺的需求承接,并形成規范化、標準化、自動化和智能化的能力、工具及流程;
3、參與產品需求討論和技術方案設計,參與大數據計算平臺、任務調度平臺、大數據質量管理平臺、資源管理的設計與優化;
4、與業務團隊和其他IT團隊密切合作,了解需求痛點和行業優秀的解決方案,并端到端的實施解決方案,確保落地與業務需求保持一致;
5、參與大數據、智能化平臺前沿性技術的預研,解決技術平臺建設中的關鍵問題、技術疑難問題,探索新技術及AI在平臺中的應用。
任職資格:
1、碩士及以上學歷,計算機等相關專業;
2、3年以上大型大數據平臺架構、研發和維護等相關工作經驗、精通Hadoop、Starrocks、Flink、Kafka、HDFS、YARN、Hive、OZone等技術,能夠處理負責的技術問題;
3、精通Java核心知識(如多線程、IO等)、熟悉DataOps相關工具和技術,具備扎實的計算機基礎,掌握對象設計模式、數據結構、高并發服務架構原理,有開源項目經驗或技術博客分享;
4、精通DolphinScheduler類似的DAG調度平臺、DataVines數據質量平臺、指標平臺、知識庫等平臺的原理,有相關開發經驗優先;
5、善于與業務和IT團隊溝通、對需求抽象為工具能力,具備問題定位和處理能力。