崗位職責
1、負責公司爬蟲核心技術開發,滿足公司對多源數據海量、實時、高質量采集要求
2、積極主動思考探索爬蟲在實際業務中的價值,參與設計數據有效利用策略,從數據合理性、完整性角度提供建議
3、把握網絡爬蟲核心技術研究方向,研究優化方向,提升爬蟲系統的穩定性、可擴展性
4、設計爬蟲策略和防屏蔽規則,提升網頁抓取的效率和質量
5、負責攻克實際業務中遇到的難題
任職要求
1、統招本科以上學歷,3年以上爬蟲項目經驗
2、有豐富的web端逆向經驗,對web端環境補全,算法還原有一定經驗
3、熟練使用使用 App 逆向工具frida,ida,apktool,xposed, 還原算法,java 層、so 層調用等
4、熟悉linux系統,熟悉mongodb,nosql(redis/kafka/rabbitmq),elasticsearch
5、充分的耐心以及靈活的頭腦