当前位置:首页 > 系统it > 网络资讯
网络资讯

北大最新多模态大模型开源:在混合数据集上训练,无需修改直接用到图像视频任务

时间:2023-11-29 23:34:12   作者:Admin辉辉   来源:51CTO网络   阅读:601   评论:0
内容摘要:训完130亿参数通用视觉语言大模型,只需3天!北大和中山大学团队又出招了——在最新研究中,研究团队提出了一种构建统一的图片和视频表征的框架。利用这种框架,可以大大减少VLM(视觉语言大模型)在训练和推理过程中的开销。具体而言,团队按照提出的新框架,训练了一个新的VLM:Chat-UniVi。Chat-UniVi能在混合...

训完130亿参数通用视觉语言大模型,只需3天

北大和中山大学团队又出招了——在最新研究中,研究团队提出了一种构建统一的图片和视频表征的框架。

利用这种框架,可以大大减少VLM(视觉语言大模型)在训练和推理过程中的开销

北大最新多模态大模型开源:在混合数据集上训练,无需修改直接用到图像视频任务 图1

具体而言,团队按照提出的新框架,训练了一个新的VLM:Chat-UniVi

Chat-UniVi能在混合图片和视频数据的情况下进行训练,并同时处理图片任务和视频理解任务。

以此为基础,Chat-UniVi在图片及视频上的17个基准上,都表现得还不错。

北大最新多模态大模型开源:在混合数据集上训练,无需修改直接用到图像视频任务 图2

现在,项目已经在GitHub和抱抱脸上开源。

更多关于新方法和Chat-UniVi的详细信息,我们一起进一步来看看~

Chat-UniVi是什么?

了解基础信息后,我们详细地聊聊Chat-UniVi究竟是什么——

简单来说,Chat-UniVi是一个统一的多模态大型语言模型,可以同时理解图像和视频。

目前VLM运用的方法,偏图片理解的,往往使用大量视觉tokens来获得更精细的空间分辨率。

偏视频理解的方法,则常常选择牺牲每帧的空间分辨率,以输入更多帧来构建更精细的时间理解能力。

与它们不同,Chat-UniVi采用动态视觉token来统一表示图像和视频,动态token合并方法是无参数的,不需要额外训练。

而动态token的来源,是渐进地聚类视觉token。

为了获取这些动态的视觉token,研究人员基于最近邻的密度峰聚类算法,逐步对视觉token进行分组和合并。

其中,图片可以通过不同大小的视觉token进行建模。

举个

#免责声明#

【声明】:辉辉网络登载此文出于传递更多信息之目的,并不代表本站赞同其观点和对其真实性负责,仅适于网络安全技术爱好者学习研究使用,学习中请遵循国家相关法律法规。如有问题请联系我们,联系邮箱1665545192@qq.com,我们会在最短的时间内进行处理。

【声明】 本站提供的一切软件、教程和内容文章信息仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络收集整理,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。敬请谅解!


网站不盈利不挣钱,若有侵犯你的利益请联系删除,给你带来的不便,我们非常重视版权问题  邮箱:3653767872@qq.com




标签:最新  修改  直接  视频  数据  
相关评论
免责声明! - 版权声明
Admin邮箱:3653767872@qq.com
  粤ICP备2023090474号