崗位職責 1、視覺算法研發 a）. 負責機器人大模型的視覺算法開發與優化，包括但不限于目標檢測、目標跟蹤、圖像分割、3D視覺、多模態融合等任務，提升機器人在復雜環境下的視覺感知能力。 b）. 深入研究和探索前沿的計算機視覺技術和大模型技術，將其應用于機器人視覺系統，如利用大模型的預訓練能力提升視覺任務的性能和泛化能力。 c）. 結合智能體（Agent）的行為規劃和決策需求，開發視覺算法以支持智能體的自主感知與交互，例如通過視覺輸入理解環境狀態并為智能體提供決策依據。 d）. 設計和實現高效的視覺算法框架，確保算法在機器人硬件平臺上的實時性和穩定性，滿足機器人在不同應用場景下的視覺需求。 2、智能體視覺感知與交互 a）. 研究和開發智能體的視覺感知模塊，使其能夠通過視覺輸入理解環境中的物體、場景和動態變化，并與智能體的決策系統緊密集成。 b）. 設計智能體的視覺交互機制，例如通過視覺反饋實現人機交互、智能體之間的協作或與環境的動態交互，提升智能體的自主性和適應性。 c）. 與智能體的行為規劃和決策模塊協作，優化視覺算法以支持智能體在復雜任務中的高效執行，例如在導航、抓取、避障等任務中的視覺支持。 數據處理與標注 d）. 收集、整理和標注大量的視覺數據，構建高質量的訓練數據集，為大模型的訓練和優化提供支持。 e）. 分析數據集的分布和特性，進行數據增強和數據清洗，提高數據的質量和多樣性，從而提升模型的魯棒性。 3、模型訓練與優化 a）. 基于大模型架構，進行視覺模型的訓練和調優，包括選擇合適的預訓練模型、設計合理的訓練策略和優化算法，以達到的需要的性能和效率。 b）. 進行模型的量化、剪枝和蒸餾等優化操作，降低模型的計算復雜度和存儲需求，使其能夠在資源受限的機器人硬件上高效運行。 4、系統集成與測試 a）. 將開發的視覺算法與機器人系統進行集成，確保算法能夠與機器人的其他模塊（運動如控制、導航、交互等）無縫協作。 b）. 設計和實施全面的測試方案，對視覺算法在不同場景下的性能進行評估和驗證，包括準確性、實時性、魯棒性等方面，并根據測試結果進行優化和改進。 5、技術支持與協作 a）. 為機器人產品的開發和生產提供技術支持，解決視覺算法相關的問題和挑戰，確保產品的順利交付和穩定運行。 b）. 與團隊成員（如硬件工程師、軟件工程師、產品經理等）密切合作，共同推進機器人產品的研發和優化，實現產品的其性能和用戶體驗。 二、任職要求 1、教育背景 計算機科學、電子信息工程、自動化、人工智能等相關專業，碩士及以上學位。 2、專業技能 a）. 熟練掌握計算機視覺的基本理論和算法，如目標檢測、目標跟蹤、圖像分割、3D視覺等，能夠獨立設計和實現相關的視覺算法。 b）. 熟悉深度學習框架（如TensorFlow、PyTorch等），具備豐富的深度學習模型開發和訓練經驗，對大模型技術有深入的理解和實踐經驗。 c）. 熟悉機器人大模型的架構和應用，能夠利用大模型的預訓練能力提升視覺任務的性能和泛化能力。 d）. 熟悉智能體（Agent）的基本概念和架構，了解智能體的行為規劃、決策機制以及與視覺感知的結合方式，能夠開發支持智能體自主交互的視覺算法。 e）. 熟練掌握C++/Python等編程語言，具備良好的編程能力和代碼規范，能夠高效地實現和優化視覺算法。 f）. 熟悉機器人硬件平臺和傳感器（如攝像頭、激光雷達等），能夠進行視覺算法的硬件適配和優化。 3、項目經驗 具備計算機視覺或機器人視覺相關項目開發經驗，有成功落地的項目案例優先。