金融界2024年10月28日消息,国家知识产权局信息显示,唯品会(广州)软件有限公司申请一项名为“语言模型训练方法、装置、存储介质及设备”的专利,公开号CN 118821908 A,申请日期为2024年9月。
专利摘要显示,本发明提供语言模型训练方法、装置、存储介质及设备,包括:获取用户行为日志,并进行预处理得到训练样本集;将训练样本集按预设比例划分为训练集和评估集;将训练集输入预设的语言模型对参数进行调整,tp钱包官网下载并将评估集输入调整参数后的语言模型计算第一损失,不断调整模型参数直至第一损失小于第一阈值,得到中间语言模型;将训练集和评估集输入中间模型计算第二损失,不断调整模型参数直至第二损失小于第二阈值,得到最终语言模型。通过多阶段损失计算对语言模型进行训练,使语言模型在充分学习样本特征的同时,降低干扰噪声的影响,达到较好的模型训练效果。
本文源自:金融界
作者:情报员