一、崗位職責
1、基于內部采集框架,熟悉采集架構,熟悉開源數據采集程序方法策略,設計采集策略和防屏蔽規則,提升開源數據采集效率和質量,能夠進行論壇、網站等平臺信息的抓取和分析
2、深入了解采集平臺數據獲取邏輯,完成數據采集、解析處理、數據入庫等數據日常工作,完成數據采集規則編寫和維護
3、把握開源數據采集核心技術研究方向,研究優化平臺,提升采集程序的穩定性、可擴展性,支撐相關單位的數據需求
二、任職要求
1、具備良好的計算機專業只是,有開源數據采集項目經驗
2、熟悉開源數據采集原理,負責或參與過日采集數據量過十萬規模的采集系統
3、熟悉scrapy、webmagic、spider-flow等開源數據采集框架
4、有較強的逆襲和解決問題能力,具備良好的溝通和團隊寫作能力
5、特別優秀人才,學歷可放寬至本科。
三、加分項
1、熟悉go語言,能夠使用golang開發應用