工作職責:
1.根據迭代需求,協同爬蟲業務分析,完成各爬蟲需求的開發和自測工作。
2.研究并分析目標網站的反爬機制,設計策略規避限制,如IP代理池、模擬用戶行為等;定期更新爬蟲策略,保持對復雜反爬機制的適應性。
3.持續完善和調優各種爬蟲任務的監控告警,包括技術指標監控和業務指標監控。
4.及時響應處理各種爬蟲任務監控告警,按要求解決恢復。
任職要求:
1.統招??埔陨蠈W歷,專業不限,計算機等理工科相關專業優先;
2.2年以上互聯網爬蟲開發經驗,有海外電商/航司網站數據獲取經驗優先
3.熟悉python常用開發框架,熟悉異步編程、網頁抓取原理、HTTP 協議等;
4.熟練掌握主流的爬蟲框架和工具,能夠靈活運用它們進行頁面解析、數據提取和持久化存儲;
5.具備解決常見反爬蟲手段的能力,如處理js逆向、破解驗證碼、風控繞過等優先;
6.熟練使用mysql、redis、mongo、kafka 等中間件;
7.抗壓能力強,學習能力強優先,具備獨立思考能力。