阿里大模型又开源！能读图会识物，基于通义千问7b打造，可商用|模态|阿尼亚|编码器|视频文件|通义千问7b|阿里巴巴集团-欧洲杯足彩官网

鱼羊 发自 凹非寺
量子位 | 公众号 qbitai

阿里开源大模型，又上新了~

继通义千问-7b（qwen-7b）之后，阿里云又推出了大规模视觉语言模型qwen-vl，并且一上线就直接开源。

具体来说，qwen-vl是基于通义千问-7b打造的多模态大模型，支持图像、文本、检测框等多种输入，并且在文本之外，也支持检测框的输出。

举个，我们输入一张阿尼亚的图片，通过问答的形式，qwen-vl-chat既能概括图片内容，也能定位到图片中的阿尼亚。

测试任务中，qwen-vl展现出了“六边形战士”的实力，在四大类多模态任务的标准英文测评中（zero-shot caption/vqa/docvqa/grounding）上，都取得了sota。

开源消息一出，就引发了不少关注。

具体表现如何，咱们一起来看看~

首个支持中文开放域定位的通用模型

先来整体看一下qwen-vl系列模型的特点：

• 多语言对话：支持多语言对话，端到端支持图片里中英双语的长文本识别；
• 多图交错对话：支持多图输入和比较，指定图片问答，多图文学创作等；
• 首个支持中文开放域定位的通用模型：通过中文开放域语言表达进行检测框标注，也就是能在画面中精准地找到目标物体；
• 细粒度识别和理解：相比于目前其它开源lvlm（大规模视觉语言模型）使用的224分辨率，qwen-vl是首个开源的448分辨率lvlm模型。更高分辨率可以提升细粒度的文字识别、文档问答和检测框标注。

按场景来说，qwen-vl可以用于知识问答、图像问答、文档问答、细粒度视觉定位等场景。

比如，有一位看不懂中文的外国友人去医院看病，对着导览图一个头两个大，不知道怎么去往对应科室，就可以直接把图和问题丢给qwen-vl，让它根据图片信息担当翻译。

再来测试一下多图输入和比较：

虽然没认出来阿尼亚，不过情绪判断确实挺准确的（手动狗头）。

视觉定位能力方面，即使图片非常复杂人物繁多，qwen-vl也能精准地根据要求找出绿巨人和蜘蛛侠。

技术细节上，qwen-vl是以qwen-7b为基座语言模型，在模型架构上引入了视觉编码器vit，并通过位置感知的视觉语言适配器连接二者，使得模型支持视觉信号输入。

具体的训练过程分为三步：

• 预训练：只优化视觉编码器和视觉语言适配器，冻结语言模型。使用大规模图像-文本配对数据，输入图像分辨率为224x224。
• 多任务预训练：引入更高分辨率（448x448）的多任务视觉语言数据，如vqa、文本vqa、指称理解等，进行多任务联合预训练。
• 监督微调：冻结视觉编码器，优化语言模型和适配器。使用对话交互数据进行提示调优，得到最终的带交互能力的qwen-vl-chat模型。

研究人员在四大类多模态任务（zero-shot caption/vqa/docvqa/grounding）的标准英文测评中测试了qwen-vl。

结果显示，qwen-vl取得了同等尺寸开源lvlm的最好效果。

另外，研究人员构建了一套基于gpt-4打分机制的测试集touchstone。

在这一对比测试中，qwen-vl-chat取得了sota。

如果你对qwen-vl感兴趣，现在在魔搭社区和huggingface上都有demo可以直接试玩，链接文末奉上~

qwen-vl支持研究人员和开发者进行二次开发，也允许商用，不过需要注意的是，商用的话需要先填写问卷申请。

项目链接：
https://modelscope.cn/models/qwen/qwen-vl/summary
https://modelscope.cn/models/qwen/qwen-vl-chat/summary
https://huggingface.co/qwen/qwen-vl
https://huggingface.co/qwen/qwen-vl-chat
https://github.com/qwenlm/qwen-vl

论文地址：
https://arxiv.org/abs/2308.12966

— 完 —