工作職責
1、負責相關數據平臺的開發工作(包括但不限于調研、標準設計、數據倉庫設計、數據集成和數據加工開發、數據質量管理及優化、數據報表及可視化開發、數據資產管理、數據平臺管理、相關文檔編寫,以及平臺和數據相關的技術咨詢等)。
2、對低級別工作人員的工作進行指導,并對工作完成質量進行監督。
3、參與對接業務需求,負責日常需求開發
任職資格
1、熟悉基本的Linux使用和操作,具有腳本開發經驗(shell、python、perl等)
2、熟練主流關系型數據庫(如mysql、postgresql、sql server、db2、oracle等)
3、熟悉數據倉庫分層設計及維度建模理論,3年以上數據類項目建設經驗,有至少一個完整項目的實施經驗
4、熟悉ETL及數據集成開發,并至少有一種開發數據集成、開發工具(如Kettle、Talend、Datastage、Informatic、DataWorks、Dataphin等)的項目使用經驗,如果是基于大數據的數據集成或開發工具(如DataWorks、Dataphin等)將優先考慮
5、熟悉常見的大數據或NoSql存儲(如Greenplum、Teradata、TiDB、Hive、HBase、Clickhouse、Druid、ElasticSearch等),并至少有其中一種的項目使用經驗
6、熟悉常見的大數據計算工具開發方式(如MR、Spark、Flink),并至少有其中一種的實際項目開發經驗,較好的性能調優
7、溝通順暢,具備較強的業務溝通、需求分析和文檔編寫能力,有團隊意識,有責任感;
8、具備較強的自我學習能力、有較強分析問題的能力。
9、會阿里云dataworks,hive,DB2遷移hive(卡遷移hive,遷移阿里云卡dataworks)