更新于 5月21日

開源數據采集工程師

1.2-2.4萬
  • 廈門思明區
  • 3-5年
  • 碩士
  • 全職
  • 招3人

職位描述

反爬蟲分布式爬蟲數據爬蟲SPIDER-FLOWWebMagicScrapyPythonJavaGOGA行業云計算/大數據
一、崗位職責
1、基于內部采集框架,熟悉采集架構,熟悉開源數據采集程序方法策略,設計采集策略和防屏蔽規則,提升開源數據采集效率和質量,能夠進行論壇、網站等平臺信息的抓取和分析 2、深入了解采集平臺數據獲取邏輯,完成數據采集、解析處理、數據入庫等數據日常工作,完成數據采集規則編寫和維護 3、把握開源數據采集核心技術研究方向,研究優化平臺,提升采集程序的穩定性、可擴展性,支撐相關單位的數據需求 二、任職要求 1、具備良好的計算機專業只是,有開源數據采集項目經驗 2、熟悉開源數據采集原理,負責或參與過日采集數據量過十萬規模的采集系統 3、熟悉scrapy、webmagic、spider-flow等開源數據采集框架 4、有較強的逆襲和解決問題能力,具備良好的溝通和團隊寫作能力
5、特別優秀人才,學歷可放寬至本科。 三、加分項 1、熟悉go語言,能夠使用golang開發應用

工作地點

思明區福建省廈門市

職位發布者

劉先生/人事經理

立即溝通
公司Logo公安部第一研究所公司標簽
公安部第一研究所是從事公安科學技術研究,為公安業務部門和社會公共安全領域提供技術、產品、工程和服務的綜合性研究所,建立于1960年初,至今走過了近50年的歷程,已發展成為公安部最大的直屬研究所,業務領域覆蓋安全檢查、安全防范與警用信息集成、證件與防偽、技術偵查、警用通信與指揮系統集成、特種警用裝備、信息安全、標準化與檢測等方面。進入21世紀,科學技術迅猛發展,面對新形勢、新任務、新期待,我所進一步明確定位,堅持以“科技強警”為己任,以公安業務一線的需求為導向,積極開展科技創新,注重提高和完善公安技術手段與公共安全裝備技術,加大科技成果推廣力度,開發生產了大量用于公安和社會公共安全領域的高新技術產品,為維護社會穩定和預防打擊犯罪做出了積極貢獻。作為一個現代化的研究所,我們非常重視開展國內外技術交流與合作,與眾多的科研院所和高等院校建立了廣泛的學術交流和技術研發合作渠道。目前,我所擁有一支年齡、知識、專業結構合理,富有朝氣的人才隊伍,為我所各項工作的全面發展奠定了堅實的基礎。希望通過網站這個窗口,可以使您在第一時間了解我們,分享我所研究人員的科研成果,了解我所的學術交流和新產品動態,得到及時的信息服務。在此,真誠希望社會各界對我們的工作繼續給予關心和指導,期盼與國內外同仁開展全方位多層次的交流與合作。
公司主頁
久久久久国产一级毛片高清板