谷歌憋了好几个月的大招、人类迄今为止最强大的ai模型——gemini,终于发布了。按照谷歌的说法,它可以像人类一样理解我们周围的世界,处理代码、文字、音频、图像和视频通通不在话下。google deepmind团队称,gemini在32项基准性能测试中的30项上超过了gpt-4。
然而,多位科技分析人士认为,虽然gemini的性能的确优于现有的多模态模型,但它和gpt-4的差距并没有那么夸张。从谷歌放出的演示视频来看,很少有什么我们在过去一年的ai炒作狂潮里没见过的东西。
更大的问题在于,如果以谷歌的算力资源、研发能力和丰富的数据都仅能做到勉强击败gpt4,gemini或许就是以人类目前的技术,能够打造的大模型的上限了。
比gpt-4强,但强得不多
根据谷歌放出的演示视频,gemini是玩“你画我猜”的一把好手,不仅可以准确地描述测试者在纸上画出的图形,还能根据测试者画出的轮廓猜测她绘制的是什么东西。
在另一个例子中,测试者给gemini展示了一张煎蛋卷在平底锅中烹饪的图片,并用语音询问煎蛋卷是否已经煮熟,gemini也用语音回答道:“还没有煮熟,因为鸡蛋还是液态的。”
看起来很新鲜,但gemini真的如谷歌所言的全方位超越gpt-4吗?
不见得。
基准的mmlu测试用于衡量ai模型在文本和图像的任务上的表现,包括阅读理解、大学数学以及物理、经济学和社会科学中的多项选择测验。谷歌ceo劈柴表示,在mmlu测试中,gemini全面击败gpt4。对于纯文本问题,gemini得分为90,人类专家得分为89。gpt-4得分为86;对于多模态问题,gemini得分为59,而gpt-4得分为57。
圣达菲研究所的ai研究员melanie mitchell对媒体表示,gemini基准测试的表现令人印象深刻,这的确说明gemini是一个非常复杂的人工智能系统,但她指出,自己并没有明显感受到gemini和gpt-4在实际能力上的差距。
mitchell还指出,gemini在语言和代码基准测试上的表现要比在图像和视频上表现更好:
“多模态基础模型仍然有很长的路要走,才能在许多任务里任务大范围、可靠地应用。”
斯坦福大学基础模型研究中心主任percy liang也对媒体表示,虽然gemini具有良好的基准分数,但由于训练数据中的内容保密,很难知道如何解释这些数字。
google deepmind还称,在人类测试者的帮助下,gemini减轻了幻觉出现的频率,在回答问题时已经变得更加准确,在被要求时可以给出信源,并且不会在遇到难回答的问题时胡编乱造。
不过,这一点同样需要谷歌公开更多数据,否则目前也很难去验证。
仓促上阵
深度学习教父杰夫·辛顿(geoffrey hinton)在四月份离开谷歌时对媒体表示
“谷歌一直非常谨慎地向公众发布ai产品,可能发生的坏事太多了,谷歌不想毁了自己的声誉。面对看似不值得信赖或无法销售的技术,谷歌采取了谨慎的态度,因此错过了更关键的机会。”
可能正是因为意识到了这一点,所以谷歌在推动gemini上线时非常着急。
gemini最强大的满血版gemini ultra,还需要等待几个月才能和公众见面。谷歌称,ultra版目前只会提供给部分客户、开发者、星空体育网站入口官网手机版的合作伙伴以及安全与责任专家使用。
有分析人士指出,谷歌甚至自己也不了解gemini ultra的所有新功能,也没有为gemini制定出货币化战略。考虑到人工智能模型训练和推理的高昂成本,谷歌可能需要很长时间才能想出盈利策略。
会不会是谷歌的营销策略导致了今天产品发布的失败?也许是吧。又或者,打造最先进的生成式人工智能模型真的很难——即使你重组了整个人工智能部门来加快进程,效果可能也不尽如人意。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
notice: the content above (including the pictures and videos if any) is uploaded and posted by a user of netease hao, which is a social media platform and only provides information storage services.