1、負責開發網絡爬蟲系統以及優化爬蟲策略，進行多平臺信息的抓取和分析； 2、完成客戶數據采集與爬取、解析處理、入庫等客戶數據日常工作； 3、負責公司爬蟲的核心算法以及策略優化，熟悉采集系統的調度策略； 4、設計爬蟲策略和防屏蔽規則，提升網頁抓取的效率和質量，提升爬蟲系統的穩定性、可擴展性； 5、實時監控爬蟲的進度和警報反饋； 任職資格： 1. 本科以上學歷，具有2年以上實際網絡爬蟲或分布式采集開發工作經驗 ，能力優秀者可適當放寬學歷限制； 2. 熟悉python語言，具備扎實的編程功底，具有良好的程序設計能力； 3. 熟悉爬蟲原理，熟悉Scrapy、pyspider等主流爬蟲框架框架，能夠解決封賬號、封IP、驗證碼、網頁限制爬取等問題； 4. 熟練使用python request、xpath、BeautifulSoup、正則等模塊； 5. 了解各種Web前端技術,包括XHTML、CSS、JavaScript、AJAX等； 6. 熟悉mysql、mongodb、redis客戶數據庫基本操作； 7. 熟悉Linux系統及其命令操作，熟悉Git版本管理工具； 8. 業務理解和分析轉化能力較強，富有進取精神及團隊合作精神，責任心強，善于合作溝通，能夠承受壓力；