崗位職責： - 負責公司各項目調度平臺的整體規劃，設計高可用、可擴展的Airflow集群架構； - 規劃Airflow任務調度策略，優化DAG（有向無環圖）的設計與執行效率； - 主導Airflow集群的部署、升級及日常維護，保障系統穩定性和高可用性； - 監控Airflow任務執行狀態，及時處理調度失敗、資源爭用等問題； - 針對大規模任務調度場景，優化Airflow調度性能； - 優化數據庫（如MySQL、PostgreSQL）性能，解決Airflow元數據存儲瓶頸。 - 為項目團隊提供Airflow技術支持，編寫開發規范及最佳實踐文檔； - 負責調度平臺等技術攻關，解決復雜場景下的調度性能與穩定性問題。 崗位要求： - 計算機科學、軟件工程或相關專業本科及以上學歷，5年以上系統開發或系統運維經驗； - 3年以上Airflow實戰經驗，主導過生產級集群的部署、調優及運維； - 精通Airflow核心架構（Scheduler、Worker、WebServer、Executor等）及運行原理； - 精通Python，熟悉Linux系統及Shell腳本； - 有大規模任務調度（日調度任務10萬+）場景下的性能調優經驗； - 熟悉至少一種數據庫（MySQL/PostgreSQL等），掌握基本SQL調優； - 具備Airflow源碼級問題排查能力者優先； - 熟悉大數據生態組件（Hadoop、Spark、Flink等）的調度集成優先； - 熟悉Docker/Kubernetes，具備容器化部署經驗優先。 軟性要求： - 優秀的邏輯思維與問題解決能力，能快速定位并修復復雜調度問題； - 良好的溝通能力，能協同數據開發、運維及業務團隊推動技術落地； - 對技術有熱情，關注開源社區動態，有Airflow源碼貢獻者優先； - 有數據中臺或大數據平臺建設經驗者優先； - 可適應短期出差。