崗位職責： 1. 設計、構建和優化高質量的代碼數據集，以支持代碼大模型的研發。 2. 建立和完善數據質量評估體系，定期對數據集進行審核，保證數據的準確性、完整性和一致性。 3. 確保所有數據收集和使用過程遵守相關的法律法規，實施有效的數據保護措施。 崗位要求： 1. 至少2年以上的AI/NLP領域工作經驗，特別在代碼大數據處理方面擁有深入的理解和實踐經驗。 2. Kaggle等平臺有系統性代碼數據采集經驗(需提供案例說明)。 3. 精通Python及其相關數據處理庫(如scrpy,pandas,SQL等)，并能夠開發自定義腳本或工具來加速數據處理流程。 4. 對大數據處理框架(如Hadoop, spark)有一定了解，對開源生態有深刻理解，熟悉主流開源協議(MIT/GPL/Apache等)及數據合規要求。 5. 能夠主動參與開源社區，識別有價值的教據源，并確保所有教據提作符合合規要求。 6. 對于特定領域的數據處理(例如算法競賽、開源項目貢獻歷史等)有獨特見解和成功案例者優先考慮。 7. 能夠基于具體業務場景，提出創新性的數據解決方案。 8》 具備從零開始構建大規模多語言代碼數據集的能力，包括但不限于數據采集、清洗、標注及結構化處理。