工作職責： 1、大模型微調與優化：負責對大規模預訓練模型（如 GPT、BERT、Llama3、Whisper、TTS 模型）進行微調，以適應特定應用場景的需求，提升模型性能； 2、端側精簡模型開發：基于端側設備的計算限制，利用 蒸餾、量化、剪枝 等技術，對大模型進行精簡，確保其在資源受限的環境中能夠高效運行； 3、小型化語言模型構建：設計和開發輕量級的小型語言模型，能夠滿足應用需求，同時減少計算和存儲資源消耗； 4、多模態模型構建：開發多模態模型，將語言、視覺、聲音等不同模態的信息結合，提升機器人等系統的交互能力； 5、模型調優與性能優化：深入分析和調優模型在不同硬件平臺上的表現，確保大模型在云端和端側的高效部署和執行。 任職要求： 1、深入理解 Transformer 架構及相關優化技術：對 Transformer 結構、 Attention機制 以及各種優化技術（如混合精度訓練、稀疏化 等）有深刻理解，能夠進行深入的架構優化； 2、精通 PyTorch 或 TensorFlow：具有豐富的 PyTorch 或 TensorFlow 框架使用經驗，能夠開發和調試大規模預訓練模型，并進行微調與優化； 3、熟悉 Hugging Face：對 Hugging Face 框架和模型庫有深入了解，能夠高效使用其進行大模型的微調、部署和優化； 4、模型剪枝、蒸餾、量化技術：精通 模型蒸餾（Knowledge Distillation）、量化（Quantization）、剪枝（Pruning）等技術，具備相關的實踐經驗，能夠大幅減少模型大小并提高推理速度； 5、大規模數據訓練和模型調優：有實際的大規模數據集訓練經驗，能夠在大規模數據集上進行模型調優，提升模型的泛化能力和實際應用效果； 6、NLP 和多模態技術：熟悉 NLP（自然語言處理）領域的前沿研究進展，并能夠在多模態（如語言+視覺）領域進行創新； 7、硬件優化經驗：有對不同硬件平臺（如 CPU、GPU、TPU、嵌入式設備）進行性能優化的經驗，能夠確保大模型在各種硬件平臺上高效運行。