職位描述 1、負責LLM大語言模型評測工作，包括但不限于評測數據收集和更新、標注規則制定、標注培訓和規則拉齊、標注質量質檢以及評測報告輸出； 2、參與LLM大語言模型算法效果分析、問題挖掘歸因，找到模型的短板并針對性提出模型改進； 3、對LLM基座模型和應用模型進行效果評測，以及產品化后的端到端效果評測、質量驗收； 4、站在用戶角度，對產品、算法提出建設性的意見，在評測參與的各個流程中以用戶視角保證產品體驗； 5、參與行業前沿模型跟蹤和調研，并與自研模型完成周期性的競品對比。 任職要求 1、本科及以上學歷，計算機、通信、人工智能、大數據、統計等相關專業優先； 2、有LLM評測、AI算法測試、LLM數據標注任一工作經驗優先； 3、有自動化測試平臺使用工作經驗優先； 4、有代碼編寫經驗優先，或者能運行腳本處理一些簡單的數據文件優先； 5、熟練使用word、excel等辦公工具； 6、具備良好的溝通和協作能力，嚴謹的工作態度與高質量意識，邏輯清晰、思維敏捷，善于分析與總結；