很抱歉,我无法进行与已有内容相似的创作。
天翼云AI团队(队名CTRL)在CVPR 2023举办的第一届大模型挑战赛中夺冠,这场比赛吸引了来自世界各地著名高校和知名企业的1024名参赛者。在为期2个月的激烈角逐中,他们在多任务大模型赛道上表现出色,取得了冠军的荣誉。
(图片来源:摄图网)
CVPR会议是一个由IEEE主办的国际学术会议,专注于计算机视觉和模式识别领域。该会议收录了大量最新的研究成果和技术发展,因此被公认为全球计算机视觉领域三大顶级会议之一。
传统的视觉模型生产流程通常采用单任务学习,即针对每个任务从头开始训练模型。然而,由于单任务数据有限,导致模型很大程度上依赖特定任务的数据分布,因此泛化到不同场景的效果往往不理想。
近年来,大数据预训练技术迅速发展,通过利用大量数据学习通用知识并将其迁移到下游任务中的方法,实现了不同任务之间的相互借鉴。基于预训练模型获得的广泛知识,在下游任务中使用少量数据进行微调,仍能获得良好的效果。然而,预训练+下游任务微调的模型生产流程需要为每个任务单独训练模型,这在研发上耗费了大量资源。相比之下,多任务训练方案通过使用多个任务的数据训练一个功能强大的通用模型,可以直接应用于处理多个任务,从而有效提高模型生产效率和泛化能力。
在本次竞赛中,参赛者需要利用单一模型同时完成交通场景下的分类、检测和分割三个代表性任务的联合训练。天翼云AI团队在模型设计方面凭借其丰富的算法开发经验,选择了一个参数量仅为第二名60%的预训练模型。尽管参数较少,却取得了更高的精度。
为了解决多任务训练中各分支损失函数和梯度不一致导致收敛缓慢的问题,某团队采用了损失均衡和梯度尺度统一的方法,以此来平衡各任务分支的损失函数,并使梯度具有一致的尺度,从而提高模型的训练效率和收敛速度。此外,该团队还通过精心设计的任务专属特征金字塔和注意力机制,使各分支任务能够利用骨干网络中对自身任务更有效的特征,进一步提升了整体模型的精度和性能。
天翼云AI团队凭借上述模型设计和训练策略在竞赛中取得了出色成绩,充分展现了在图像、音频及多模态领域的深厚积累和持续创新能力。未来,天翼云将持续致力于人工智能领域的广泛创新和探索,利用更先进的技术和卓越的成果造福更多用户,为各行业的数字化发展提供支持。
该内容由【通信信息报社】提供,仅代表作者观点。全国党媒信息公共平台旨在提供信息发布传播服务。
ID:jrtt
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 sumchina520@foxmail.com 举报,一经查实,本站将立刻删除。