崗位職責:
1. 根據業務需求,研究爬蟲策略和防屏蔽規則,設計和開發分布式爬蟲,支持高并發多平臺抓取;
2. 負責網頁信息抽取、簡單清洗、數據入庫等開發;
3. 提升爬蟲穩定性及可擴展性,充分利用資源,優化爬蟲效率和質量。
任職資格:
1. 計算機軟件及相關專業本科畢業;
2. 1年以上爬蟲項目開發經驗,優秀畢業生亦可;
3. 熟悉爬蟲原理及常見的反爬蟲技術,如cookie、js加密、base64等;
3. 熟練運用python及多進程、多線程開發;
4. 熟練使用scrapy、requests、selenium、pyppeteer等爬蟲包;
5. 熟悉html,正則、xpath等提取技術;
6. 熟悉Mysql、Redis等數據庫及相關操作;
7. 熟悉Linux基礎命令;
8. 有Django/Flask等web框架開發經驗者優先。
職位福利:五險一金、績效獎金、餐補、通訊補助、帶薪年假、補充醫療保險、定期體檢、彈性工作