400-885-9898
更新于 5月14日
智聯APPAPP
舉報

高級爬蟲python工程師

1-1.5萬

職位描述

Python分布式爬蟲爬蟲開發數據清洗
崗位職責：
1、負責設計和開發分布式爬蟲和調度系統，爬蟲核心算法和調度策略優化；
2、負責部分網站驗證碼破解和現有爬蟲系統效率的提升；
3、負責網絡數據抓取規劃和數據鏈路規劃、高效且穩定爬取指定網站的數據；
4、構建高可用性、高可擴展性的網絡信息搜集平臺；
5、優化現有數據清洗，數據提取，結構化，入庫等過程；
6、深度思考并參與業務等數據瓶頸，并有效解決；
7、項目中遇到其他問題。
任職要求
1、計算機相關專業，python語言，三年以上爬蟲經驗；
2、有獨立負責過爬蟲平臺搭建、爬蟲系統處理經驗，爬蟲項目規劃能力；；
3、熟悉Scrapy、Pyspider、nutch、webmagic等主流爬蟲框架使用，了解js引擎技術等優先考慮；
4、熟悉js逆向，混淆原理，js語法樹，客戶端常用簽名算法等。
5、具備web挖掘等搜索引擎相關知識，有豐富的網絡爬蟲、網頁去重、網頁信息抽取的經驗，
6、掌握網頁抓取原理及技術，包括基于Cookie的登錄管理，基于headless的采集，熟悉正則表達式、XPath、Jsoup等網頁信息抽取技術。
7、熟悉Linux平臺開發、常用操作及命令，良好的編碼習慣，有獨立思考的能力，善于解決問題。
8、具備較強的團隊協作精神，工作責任心強，良好的溝通、理解和執行能力。

工作地點

石家莊長安區朝暉商務8樓

職位發布者

梁女士/人資經理

昨日活躍
立即溝通
公司Logo中數智創科技有限公司
中數智創科技有限公司成立于2018年，總部在河北石家莊，在北京、深圳設立全資子公司，集團技術研發團隊超過300人，主要業務為數字金融、數字產業、數字交易三大領域，產品和服務面向全國，已為全國數百家政、企客戶打造數字化服務平臺，上百家金融機構研發創新金融科技產品。核心技術依托國內領先的大數據、AI大模型、區塊鏈、隱私計算、物聯網、數字孿生等技術推動產業的深度發展。公司是中國招標投標協會成員單位、中物聯金融委常務理事單位、河北省中小企業投融資促進會會長單位、河北省信息產業與信息化協會常務理事成員、河北省基于區塊鏈的電子保函系統技術創新中心、參編全國首部團體標準《公共數據授權運營平臺技術要求》(T/CECC024-2023)。公司通過涉密乙級資質、CCRC二級、CMMI3、ITSS三級、DCMM三級、EBS交易平臺三星認證等。經營理念：客戶至上、高效團隊、創新發展、合作共贏企業使命：以科技創新，技術賦能政銀企數字化轉型企業愿景：成為政銀企數字化轉型與科技創新的開拓者企業精神：開放、務實、進取、拼搏
公司主頁
久久久久国产一级毛片高清板