崗位職責:
負責開發維護高效穩定的爬蟲系統,使用Python/Java等技術棧(如Scrapy、Selenium、BeautifulSoup)實現多平臺數據自動化采集。
崗位要求:
1. 熟練掌握Python和Java,熟練掌握主流開發框架;
2. 掌握運用 HTML、JS、CSS、jquery、Bootstrap、RequireJS 、VUE進行頁面開發;
3. 熟練使用至少一種數據庫(Oracle、MySQL等)與redis設計與開發,能熟練使用SQL語句并具有優化意識;
4. 掌握爬蟲的工作原理,熟悉Scrapy、pyspider等主流爬蟲框架框架,能夠解決常見反爬問題;
5. 熟練使用SVN/GIT、MAVEN、Eclipse/IDEA、PowerDesigner、PLsql等相關開發管理設計工具;
6. 了解Linux操作系統,掌握常用Shell命令的基本使用,能獨立安裝部署、配置并使用常用中間件,如緩存、消息隊列等;
7. 良好的邏輯思考和獨立解決各種問題的能力;嚴謹踏實,責任心強,善于學習總結,抗壓能力強, 具備良好團隊合作意識和溝通協調能力。
加分項:
有大型互聯網項目或復雜系統中的開發經驗。
熟悉Docker、Kubernetes等容器化技術,有實際項目經驗。
對Python異步編程有深入理解,有實際項目中使用Asyncio或類似框架的經驗。
對深度學習、大模型等新型技術有濃厚興趣、理解大模型 Agent、MCP 概念。