我們正在為我們另外一家公司尋找一位優秀的爬蟲工程師，歡迎您的投遞和聯系。 崗位職責： 1、數據爬取：根據業務需求獲取政策法規、行業數據等外部數據； 2、數據清洗與處理：確保數據質量，格式標準化； 3、知識庫構建：構建和維護RAG系統的向量數據庫； 4、數據管道搭建：自動化數據更新和處理流程； 5、數據質量監控：監控數據質量，及時發現和修復問題。 任職要求: 1、技能要求： 數據爬蟲：Python爬蟲框架(Scrapy、BeautifulSoup)； 數據處理：Pandas、NumPy等數據處理庫； 向量數據庫：Pinecone、Weaviate、 Supabase Vector等； 數據清洗：文本處理、數據去重、格式標準化； SQL和數據庫：PostgreSQL、數據建模； 爬蟲與數據清洗：Scrapy、BeautifulSoup、Pandas； 數據庫管理：Supabase、PostgreSQL； 數據可視化與監控：Grafana、 Metabase。 2、良好的團隊溝通能力，能將技術方案轉化為業務視角的說明。