一、崗位職責
1.負責使用Python開發高效、穩定的網絡爬蟲程序,采集公開或授權的網絡數據;
2.處理反爬機制(如驗證碼、IP封禁、動態渲染等)優化爬蟲策略;
3.對采集的數據進行清洗、去重、結構化存儲(如MySQL、MongoDB、CSV等);
4.配合數據分析師或業務團隊,提供高質量的數據支持;
5.編寫技術文檔,維護爬蟲代碼,優化數據采集流程。
二、任職要求
1、本科及以上學歷優先;
2、專業不限,計算機類專業優先;
3、熟練掌握Python,熟悉Requests、Scrapy、BeautifulSoup、Selenium等爬蟲工具;
4、熟悉 HTML/CSS/JavaScript,能解析動態網頁,以及具備反爬應對經驗;
5、學習能力強,主動性高。