大數據集群運維工程師
【職責描述】
1.負責HDP平臺相關組件的部署和維護,保證其服務穩定;
2.為數據倉庫、數據挖掘建模等數據應用項目提供運行環境支持;
3.負責大數據平臺內部所涉及到的各類數據庫,數據存儲的搭建、備份、日常維護、性能調優;
4.大數據平臺系統運維,監控和故障分析處理。
【任職要求】
1.學信網統招本科及以上學歷,計算機相關專業,5年以上相關經驗;
2.對大數據基礎架構和平臺有深刻理解,對基于Hadoop的大數據體系有深入認識,具備相關產品(Hadoop、Hive、HBase、Kafka、Sqoop、Spark等)項目應用研發經驗,熟悉底層原理和工作流程;
3.熟悉Hadoop及相關組件部署維護,有實際大數據集群運維經驗;
4.精通Hadoop生態各類存儲格式、原理、壓縮,大量小文件的處理策略。
5.集群節點數據均衡、磁盤數據均衡,集群每臺服務器的內存大小、CPU核數、硬盤情況的預留、監控與優化。
6.Hadoop參數調優:HDFS、YARN參數調優,MapReduce、Hive、Hbase、Spark等優化。
7.對大商用數據平臺tchouse、iceberg等具有豐富的搭建、運維、使用經驗;
8.對大數據技術和生態的認知和理解自成體系,具備良好的解決方案歸納能力;
9.集群穩定性運維、擴容縮容,大版本的熱升級、有災備,跨域實施經驗。