崗位職責
1、實現常規網絡爬蟲、分布式爬蟲的開發及架構設計;
2、協助搭建ETL流程,整合MySQL/Excel等數據源;
3、負責網絡采集數據,進行多平臺信息的抓取和分析工作;
4、與團隊合作、解決復雜數據問題,提供業務洞察。
任職資格
?1、??萍耙陨蠈W歷,計算機、統計學等相關專業優先;
2、掌握Python語法及Pandas/Numpy基礎用法,能獨立編寫爬蟲腳本,有相關爬蟲系統開發經驗;
3、熟悉分布式爬蟲應用和調度策略,掌握各類反爬機制和驗證碼機制;
4、參與過至少1個完整的數據分析項目(需包含爬蟲+清洗+分析全流程)處理過10萬級數據量;