工作職責:
1、負責公司大數據基礎平臺的運維、規劃、部署、管理、擴容和優化等,保障服務的穩定性和可用性,發現并解決性能瓶頸等;
2、負責公司大數據/Hadoop/Hive/Oozie/spark等大數據組件服務穩定性保障;
3、參與數據平臺的相關工具開發包括自動化部署、監控、ETL等;
4、負責大數據平臺的用戶管理、權限分配、資源分配;
5、跟進大數據技術研究的大方向,做新技術預研工作;
6、開發大數據自動化運維、監控、故障處理工具,推動程序架構與部署優化,優化和控制運營成本。
任職資格:
1、本科以上學歷,計算機相關專業,3年以上同類工作經驗;
2、熟悉Python/Shell等至少一種腳本語言,能夠編寫腳本進行自動化處理;
3、運維過CDH/Ambari等大數據集群,能快速定位并解決問題;
4、對大數據相關開源組件(Hadoop/Hive/Spark/Impala/Flink/ES等)有深入理解和建設,能夠進行性能調優;
5、能夠利用各種開源監控工具,如Prometheus+Grafana、Zabbix、Nagios等,至少熟悉兩種以上。