崗位職責： 1、負責公司大數據平臺的搭建、運維和管理，包括Hadoop平臺及其相關組件、ETL工具和BI工具，確保平臺高效運轉、系統穩定性和安全性。 2、參與全鏈路數據開發，包括數據采集、數據同步、數據清洗與標準化、數據模型設計、離線數據和實時數據開發、數據服務化、可視化和數據治理等工作。 3、負責多源數據（文件，mysql，mongodb，API，日志，kafka等）接入，標準化清洗轉換接入大數據平臺 4、參與公司離線和實時數據倉庫設計與開發，根據業務需求進行數據倉庫模型設計，負責從ETL到BI到全流程大數據作業的開發。 崗位要求： 1、三年以上大數據開發經驗，熟悉主流大數據處理技術，具備豐富的分布式計算平臺模型架構經驗，包括Hadoop、Hive、HBase、Spark/Flink、Sqoop、Flume、Kafka、ZooKeeper、Elasticsearch等。 2、代碼能力強、掌握Python/Java等開發語言一種以上，熟悉Linux系統及常規shell命令； 3、具備優秀的問題分析能力，能夠準確快速地定位和解決系統、應用日志中的問題。 4、有在云上獨立搭建大數據平臺能力 5、有處理億級以上數據量經驗優先。