崗位職責:
1.負責公司大數據存儲相關產品的架構設計和系統調優;
2.能夠與產品經理、管理團隊進行良好的溝通合作,按時保質保量完成開發任務;
3.推動數據治理、數據服務化、數據產品化等相關工作,優化數據系統架構;
4.深入理解業務,挖掘數據價值,對業務進行合理的抽象和建模,構建準確、穩定、高效的離線和實時數據體系。
職位要求:
1.熟悉數據結構和算法,具備扎實的程序設計基礎和學習能力;
2.大數據開發經驗3年以上,熟悉并理解緩存、消息、RPC調用框架、JVM 調優、序列化、NIO等原理,對各種開源框架如Spring、dubbo等有深入了解,讀過源代碼、自己寫過框架優先;
3.熟悉Spark/Hadoop/Flink/Clickhouse等大數據生態技術棧,具備較強的的SQL/ETL開發和性能調優能力,對代碼質量有嚴格要求;
4.了解典型數據挖掘工具,熟練應用各種分類聚類算法,熟悉各種相關性算法,回歸算法,了解常用的社交分析模型,具有數據挖掘算法開發經驗;
5.掌握Flink 技術原理以及熟悉相關API開發經驗;
6.有BI開發(包括Spark SQL、Hive SQL、大數據DBA 等)經驗者優先;
7.有大數據查詢系統(包括Phoenix、Presto、Impala、Kylin、Greenplum等)經驗者優先;
8.具有強烈的責任心,良好的溝通、學習能力,良好的團隊合作意識,勇于接受技術挑戰,對技術充滿熱情。