控制电脑手机的智能体人人都能造，微软开源OmniParser
控制电脑手机的智能体人人都能造，微软开源OmniParser最近这几天，让大模型具备控制计算机（包括电脑和手机）的相关研究和应用如雨后春笋般不断涌现。
来自主题: AI技术研报
10726 点击 2024-10-26 20:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
最近这几天，让大模型具备控制计算机（包括电脑和手机）的相关研究和应用如雨后春笋般不断涌现。
2024 年的双十一购物节，比往常来的更早一些。 这场比拼脑筋与手速的硬仗，早在 10 月 14 日就初见端倪。不少朋友表示，今年的双十一不仅战线长，规则也更加复杂。
2024 年是 AI Agent 的发展元年，多位科技巨头曾在公开演讲中表示 AI Agent 是 AI 应用的重要落地方向。
在对标OpenAI之路上，智谱AI又近了一步。 今年年初，OpenAI被爆出将自研AI Agent软件，它可替代人类，自动导航至任何网站并执行指定任务。
这两天，Claude 3.5 Sonnet升级版刷爆了朋友圈，满屏都是：它能像人一样操作电脑。 大语言模型（Large Language Model，LLM）能够像人一样操作电脑这件事，看起来蛮炸裂的，但在AI Agent圈子里早已经见多不怪了。
AI接管人类电脑，未来已来！Claude自主操控电脑，从编程到科研无所不能，代表着万能API。另一边，OpenAI内部加急研发多智能体AI，已经有了雏形。
几个工程师、一个星期，就能做一个AI Agent应用了。 效果be like—— 能理解用户复杂长命令，推荐符合要求的奶茶店。
巴克莱预计，随着AI应用的普及，推理计算的需求预计将在2026年达到70%以上。到那时，可能需要比预期多4倍的芯片资本支出才能满足所有需求。
工具调用是 AI 智能体的关键功能之一，AI 智能体根据场景变化动态地选择和调用合适的工具，从而实现对复杂任务的自动化处理。例如，在智能办公场景中，模型可同时调用文档编辑工具、数据处理工具和通信工具，完成文档撰写、数据统计和信息沟通等多项任务。
让大模型依靠群体的智能。