|
|
软件研讨所天基归纳信息系统全国重点试验室研讨团队提出了一种新颖的提示学习办法BayesPrompt，该办法经过探究以去偏办法近似下流使命的完好练习域，为预练习言语模型供给去歧义辅导。相关论文被机器学习范畴尖端学术会议ICLR 2024接纳。
研讨人员以为，学习范式长期存在的问题之一是下流域的练习样本中仅包括有限且离散的语义信息，无法较好地支撑传统可练习提示取得满足监督，使得生成的提示对预练习言语模型的辅导变得微乎其微。这样的一个问题导致了预练习言语模型在下流域，尤其在少样本场景下功能的下降。
为此，研讨团队从散布视角从头审视了预练习言语模型下流推理的原理，以为练习样本的有限会使得可练习提示只学习到方针域的有偏散布，而有偏散布仅包括部分信息且与方针域的实践散布不一致，这会引起协变量偏移问题，因而导致预练习言语模型发生常识歧义。
此次新提出的BayesPrompt旨在进行去偏域笼统，使用已知散布来近似下流域的去偏实在散布，再从近似散布中均匀采样代表性特征以生成对预练习言语模型（PLMs）的提示。研讨团队经过进一步的理论验证，证明了与基准办法比较，BayesPrompt在预练习言语模型的下流推理上取得了更紧致的分类差错上界。此外，在少样本数据集设置下的试验成果进一步证明了BayesPrompt的有效性。
版权声明：凡本网注明“来历：我国科学报、科学网、科学新闻杂志”的悉数著作，网站转载，请在正文上面注明来历和作者，且不得对内容作实质性改动；微信大众号、头条号等新媒体渠道，转载请联络授权。邮箱：。
问候卅载，感谢共筑：Current Oncology 创刊30周年纪念
