崗位職責 多模態特征提取模型開發：負責開發多模態特征提取模型，涵蓋文本（BERT）、圖像（CLIP）、音頻（Whisper）等領域，實現高效的數據特征提取與表示。 RAG 檢索算法優化：優化 RAG 檢索算法，提升行業專家庫的準確性與響應速度，確保檢索結果的高質量。 模型蒸餾與量化方案設計：設計模型蒸餾與量化方案，支持邊緣端輕量化部署，降低模型推理成本。 大模型微調工作參與：參與大模型微調工作，運用 LoRA、QLoRA 等技術提升模型性能，適應特定行業需求。 算法模型集成與系統協作：與后端團隊緊密合作，將算法模型集成到系統中，實現端到端的多模態數據處理和應用。 核心技能要求 深度學習框架精通：精通 PyTorch 框架，具備豐富的深度學習項目經驗，能夠熟練運用 PyTorch 進行模型構建、訓練與優化。 多模態融合技術熟悉：熟悉多模態融合技術，如 ViLBERT 等，能夠進行高效的多模態數據處理和融合。 模型優化方法掌握：掌握知識蒸餾（DistilBERT）、模型量化（QAT）方法，聯邦學習架構，具備實際項目經驗。 RAG 技術棧熟練：熟悉 RAG 技術棧，如 LangChain、LlamaIndex，具備大模型微調經驗。 數據庫使用與管理能力：精通各類數據庫的使用和管理，包括關系型數據庫（如 MySQL、PostgreSQL）、非關系型數據庫（如 MongoDB）、內存數據庫（如 Redis）以及圖數據庫（如 Neo4j）。 工具鏈 訓練框架：PyTorch Lightning、Hugging Face。 實驗管理：MLflow、Weights & Biases。 數據庫工具：MySQL、PostgreSQL、MongoDB、Redis、Neo4j。 其他工具：Git、Docker、Jupyter Notebook。