1. 負責項目所需的數據接入,加工處理,數據治理;
2. 設計并實現大數據處理流程,提取和分析項目相關數據;
3. 協助其他團隊成員進行數據處理和分析工作,提供技術支持;
4. 對大數據平臺各個使用方提供技術支持
任職資質
1、計算機、信息技術、數據科學或相關專業的本科及以上學歷,6年以上實際PB級大數據項目經驗。
2、熟悉Apache Hive及其生態(如Hadoop、HDFS等),能夠熟練使用HiveSQL進行數據開發、hiveSQL優化,會使用doris優先。
3、了解大數據架構及相關技術,如Hadoop、Spark、Kafka等,對數據流和處理流程有一定的認識。
4、熟悉Azkaban等調度工具,能夠編寫ETL腳本或調度作業。
5、理解數據倉庫、數據治理的基本概念及應用,對SQL有扎實的基礎。
6、具備較強的數據分析能力和業務理解能力,能夠根據業務需求設計合理的數據模型。
7、大數據hive開發項目5年以上經驗,有5年以上實際維度數據模型經驗。