職位描述:
1、負責通用多模態大模型(包括十億、百億參數量)的設計、開發和優化,包括但不限于預訓練、跨模態信息對齊方法探索、SFT、指令微調、RLHF、Prompt工程、模型評估、模型推理等;
2、負責大規模、多模態數據的獲取,清洗和質量控制,保障數據質量和有效性;
3、緊跟業界大模型、多模態/語言等方向進展,探密前沿技術,形成系列算法/大模型解決方案,完成算法團隊研發落地工作,推動多模態大模型效果達到行業領先。
任職要求:
1、碩士及以上優先,代碼能力極強者放寬要求;計算機科學,軟件專業;
2、精通Transformer、Bert、ViT等深度學習理論算法和優化;
3、對多模態大模型訓練范式等有深入理解和實踐,有多機多卡大模型訓練/大模型微調/從0到1構建多模態大模型(百億參數以上)等經驗者優先;
4、對大模型和生成式AI有濃厚的興趣,對至少一項生成式模型的原埋與應用具有深入了解,如GPT4V、LLaVa、MiniGPT4、Stable Difusion、CogVLM、DALL-E等;
5、精通一種或多種編程語言,如python、C語言等,熟練握主流深度學習框架Pytorch、Tensorflow等;熟悉Linux系統,了解分布式訓練框架,如Deepspeed和Meatron-LM等,并有一定的多機多卡分布式訓練經驗;
6、具有部署經驗,有模型壓縮經驗以及端側部署經驗優先;
7、具備較強的團隊協作能力和溝通能力,有較強的學習能力和業務分析及問題解決能力;
8、發表過大模型相關研究AI頂會論文優先;具有影響力競賽,如CVPR,Kaggle,排名靠前成績優先。