|
|
在视觉言语大模型（VLM）的研讨和使用中，高核算成本一直是限制其广泛布置的首要妨碍。近来，哈尔滨工业大学联合度小满一起研制出一种立异的自适应剪枝算法——SmartTrim。该算法针对多模态大模型的冗余核算进行相对有用减少，完成了明显的功率进步，相关研讨效果已被世界自然言语处理范畴尖端会议COLING 24接纳。
据介绍，SmartTrim技能的中心在于其自适应剪枝才能，经过剖析模型中每层的token表明和attention head的冗余性，智能辨认并剪除不必要的核算担负。这一进程中，SmartTrim不只考虑了token在单一模态序列中的重要性，还特别强调了跨模态交互中的要害作用。经过这一种精细化的剪枝战略，SmartTrim可以在坚持模型功能的一起，大幅度的进步核算功率。
SmartTrim结构的施行触及两个要害组件：跨模态感知的Token修剪器和模态自适应的注意力头修剪器。Token修剪器使用多层感知器（MLP）结构，智能地辨认并去除那些关于当时层不重要的Token。这一进程不只考虑了Token在文本或图画序列中的独立重要性，还归纳了它们在跨模态交互中的奉献。注意力头修剪器则直接集成在模型的自注意力模块中，评价并修剪那些冗余的注意力头，然后优化了模型的核算功率。
在练习SmartTrim模型时，研讨人员采用了一种结合使命相关方针和核算开支方针的两层优化战略。经过重参数化技巧，处理了不行导二值mask的问题，完成了模型的端到端练习。此外，自蒸馏和课程学习战略的引进，进一步进步了剪枝后模型的功能，保证了练习进程的稳定性。
试验依据效果得出，SmartTrim在METER和BLIP两个VLM上完成了2-3倍的加快，一起将功能丢失最小化。这一效果不只在理论上具有立异性，也为实践使用中的模型优化供给了新的思路。尤其是在1.5倍加快比下，SmartTrim的功能乃至超过了原始模型。在高加快比下，SmartTrim比较其他办法展现出明显优势。
SmartTrim技能的推出，标志着多模态大模型研讨的一个重要里程碑。度小满表明，SmartTrim技能将在未来整合到公司的轩辕大模型中，以推进大模型技能的开展。相关研讨者可以终究靠拜访，了解更多关于SmartTrim的概况信息和研讨效果。（科文）
