国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
国产多模态AI再开源!实测截图转网页、搜图购物,价格减半
10037点击    2025-12-10 10:51

国产多模态AI再开源!实测截图转网页、搜图购物,价格减半


原生工具调用、128K上下文,图文创作仍有短板。


智东西12月9日报道,昨晚,智谱开源了其GLM-4.6V系列多模态大模型,包括面向云端与高性能集群场景的基础版GLM-4.6V(106B-A12B)以及面向本地部署与低延迟应用的轻量版GLM-4.6V-Flash(9B)


此外,今天上午,智谱还开源了AutoGLM,类似于“豆包手机助手”。该智能体在去年10月发布之时曾被业内视为“全球首个具备手机操作能力的AI Agent”


国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

▲GLM-4.6V开源主页(图源:Hugging Face)


国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

▲AutoGLM开源主页(图源:Hugging Face)


据官方介绍,GLM-4.6V能够完成智能图文混排与内容创作、识图购物与导购、前端复刻与多轮视觉交互开发以及长上下文的文档与视频理解等任务,智东西第一时间对其进行了体验。


在实际体验中,GLM-4.6V的图像搜索、全网比价以及长文本和视频的理解能力表现较为稳定,其生成文字和网页的速度快、内容准。但图文混排能力上,其所生成的图片一直无法显示。对于模糊指令,GLM-4.6V的理解有些许偏差。


GLM-4.6V系列模型将训练时上下文窗口提升到128k tokens,其首次在模型架构中将Function Call(工具调用)能力原生融入视觉模型。


在性能上,在同等参数规模下,GLM-4.6V系列模型在多模态交互、逻辑推理和长上下文等关键能力上取得SOTA表现。


其中,9B版本的GLM-4.6V-Flash在覆盖了通用视觉问答、多模态推理、多智能体、多模态长文本、图表识别以及空间定位能力的34项测试中,有22项的分数超过Qwen3-VL-8B,106B参数12B激活的GLM-4.6V表现则与有着2倍参数量的Qwen3-VL-235B相接近


国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

▲GLM-4.6V系列模型基准测试(图源:z.ai/blog/glm-4.6v)


价格上,GLM-4.6V系列相较于GLM-4.5V降价50%,API调用价格低至输入1元/百万tokens输出3元/百万tokens,GLM-4.6V-Flash全面免费


国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

▲GLM-4.6V系列模型价格表(图源:智谱AI)


GLM-4.6V开源地址:


GitHub:


https://github.com/zai-org/GLM-V


Hugging Face:


https://huggingface.co/collections/zai-org/glm-46v


魔搭社区:


https://modelscope.cn/collections/GLM-46V-37fabc27818446


GLM-4.6V体验地址:


https://chat.z.ai/


01.

智能图文混排:

可生成推文大纲,但无法显示图片


首先是智能图文混排与内容创作能力,GLM-4.6V构建了原生多模态工具调用能力,可以直接理解图像、截图、文档页面等多模态数据,无需先转为文字描述再解析。


我们上传了GLM-4.5V的技术报告,要求其生成一篇图文并茂的微信公众号文章。大约1-2分钟,GLM-4.6V就完成了对整个文档的阅读和理解,输出了包含标题、导语、五个章节以及结语的完整公众号文章,但经过多次尝试,其依旧无法显示出图片。


国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

▲智能图文混排


02.

识图购物与导购:

自动比价一气呵成,但模糊搜索理解不到位


为了体验GLM-4.6V识图购物与导购功能,我们直接输入“帮我搜索现在iPhone 17 Pro Max在各平台的价格。”


GLM-4.6V会自动调用相关工具在全网中搜索,并且形成商品名、平台、品牌、商品图、商品链接以及店铺名的比价表格,直接点击链接即可跳转到购买页面。


根据购买页面对比,GLM-4.6V搜索出的产品名和价格均正确,但其所对比的商品均来自京东平台,且商品名是直接从电商购买页面提取的,有很多冗余信息,并没有做进一步的整理。


国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

▲商品比价


我们还可以直接让GLM-4.6V搜索《疯狂动物城2》中尼克狐尼克的同款眼镜,其通过图像搜索功能直接搜索出了其同款眼镜的实拍图,但并没有给出购买链接。


国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

▲模糊搜索导购


03.

网页复刻:

一张图丝滑生成网页代码,但图标更换出错


我们上传了一张X平台的登录页面截图,要求用户GLM-4.6V生成HTML代码和网页预览。


国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

▲截图生成网页代码


国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

▲生成网页预览


收到指令后,GLM-4.6V就立刻开始逐行生成HTML代码,并显示出预览页面。可以看出,其生成的“仿X”登录网页与原网页几乎一模一样。


此外,GLM-4.6V还支持多轮视觉交互,直接根据结果用自然语言指令修改网页的色彩、调整按钮位置等。


比如,我们在上一轮输出的基础上,要求其将网页主题色改为天蓝色,图标X改为Z,但还保持原风格。可以看到,针对修改主题色的要求,GLM-4.6V完成的很完善,但对于图标X改为Z的指令,其误生成了一个“向上箭头”形状。


国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

▲修改网页元素


04.

长上下文的文档理解:可同时处理多篇中英文论文,长文档理解准确


GLM-4.6V将视觉编码器与语言模型的上下文对齐能力提升至128k,在实际应用中,128k上下文约等于150页的文档、200页PPT或一小时视频。


为验证其长上下文的文档理解能力,我们直接甩给GLM-4.6V三篇网络平台治理领域的论文,其中有两篇中文文献和一篇英文文献,让其阅读以上论文,并生成一篇学习笔记。


国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

▲生成论文学习笔记(上下滑动查看完整图片)


从GLM-4.6V生成的效果来看,图片依旧没有显示出来,但文字部分内容齐备,逻辑清晰,将每篇文献中的核心观点和结论都清晰地罗列了出来,英文文献处理也没有错漏。


05.

视频理解:

能快速解析视频内容,但视频大小有限制


最后,GLM-4.6V还可以理解长视频内容,用户可以上传一部200M以内的MP4影片,要求其分析视频的拍摄手法和内容、结构等。


比如,我们上传了一段6分48秒的视频制作技巧分享视频,想要其总结一下视频的思路和内容,并给一些做摄影类自媒体的建议。


国产多模态AI再开源!实测截图转网页、搜图购物,价格减半

▲视频内容理解(上下滑动查看完整图片)


GLM-4.6V在几秒钟之内就给出了包含视频思路、叙事技巧、镜头运用和设备选用等的完整详解,并且给出了循序渐进的四条成为摄影博主的建议,回答准确并且清晰完整。


06.

结语:GLM-4.6V降低了视觉模型接入门槛


从实际体验来说,GLM-4.6V在日常工作上已经能帮不少忙,但生成效果还不太稳定,生成公众号文章时图片出不来、改网页细节时仍会有瑕疵,但其价格降到了上一个版本的一半,轻量版还免费,对于想尝试多模态AI的个人或小团队来说,门槛确实降低了不少。


在当前各家AI能力越来越接近的情况下,谁能把体验做得更顺畅、成本更低,谁就可能吸引更多开发者。


在官方推文中,智谱团队写到本周是其开源发布周,将会有更多成果开源,值得期待。


文章来自于“智东西”,作者 “王涵”。

关键词: AI新闻 , AutoGLM , GUI , 智谱
AITNT-国内领先的一站式人工智能新闻资讯网站
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI代理

【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务,如比较价格、添加购物车、回复各种社交媒体等。

项目地址:https://github.com/browser-use/browser-use


2
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md