乐鑫龙虾 ESP-Claw 来了！聊天就能开发智能设备

• 对话定义设备行为：通过 Chat Coding 实现智能设备的快速搭建；
• 设备端智能闭环：在本地完成感知、推理、决策与执行；
• 灵活与稳定兼顾：LLM 动态决策结合本地规则，确保关键任务可控执行；
• 本地记忆长期学习：设备实现结构化记忆与持续学习，隐私不上云。

乐鑫信息科技 (688018.SH) 正式推出 ESP-Claw —— 以 Chat Coding（聊天造物）为核心的 AI 智能体框架。它突破了编程边界，让人人都能通过对话定义智能设备。 

传统物联网设备至今仍处于被动执行阶段：能联网，却不能思考；能执行，却不能决策；能记录，却不能学习。设备高度依赖云端，且难以实现自然的实时交互。

而 ESP-Claw 打破了“AI 必须依赖高算力服务器”的局限，将 Agent Runtime 下沉至边缘芯片，使设备在本地实现感知、推理与决策的完整闭环，推动物联网设备迈向“自主智能决策”。

ESP-Claw 使设备在本地实现感知、推理与决策的完整闭环

ESP-CLAW 四大核心能力

如果说 OpenClaw 是运行在 PC 和服务器上的 AI 智能体网关——通过 IM 聊天连接用户、调度大模型、管理工具与记忆，那么 ESP-Claw 所要解决的是：如何将这套能力从 PC 环境延伸到实体物理世界。面对边缘设备的资源约束、实时性要求和隐私敏感性，ESP-Claw 给出了四项核心设计：

01 聊天即造物

LLM 动态决策 + Lua 确定性规则

ESP-Claw 将 LLM 引入 IoT，让 DIY 不再是程序员的专利。借助 Lua 动态加载 + IM 聊天交互，普通用户可以通过自然语言直接定义设备行为。

使用场景：

• 无需编程，AI 生成驱动代码：普通用户使用聊天软件发送需求，即可自动生成对应驱动代码；

聊天驱动不同硬件

• 同一硬件，多种功能：同一设备可根据需求切换不同功能，如一条灯带即可实现天气灯、氛围灯或夜灯等不同模式的转换；

聊天切换不同模式

• 复杂应用组合：多个外设可组合形成更复杂的应用，如利用屏幕、按键、灯带、摄像头等实现游戏机、音乐播放器等功能。

多种 DIY 游戏场景

以上体现了 LLM 动态决策的灵活性。但在 IoT 场景中，关键操作（如报警联动）必须稳定可控，不能依赖实时生成。因此，ESP-Claw 引入 Lua 确定性规则，LLM 生成的逻辑在验证后可固化为本地规则，确保在离线或模型变更情况下仍能稳定运行。

02 毫秒级响应

事件驱动，主动感知

传统模式依赖轮询或指令触发，而 AIoT 中的大量场景天然由事件驱动，例如门磁触发、人体检测或温度突变。ESP-Claw 采用事件驱动架构：设备主动上报事件，由本地事件总线触发处理逻辑。对于高实时性需求，通过本地规则直接执行，实现毫秒级响应，断网亦可独立运行。

对于高实时性需求可通过本地规则执行

在此基础上，当本地没有匹配的 Lua 规则时，Agent 会自动调用 LLM 进行分析判断；而当任务超出本地算力范围（如音视频分析、图像识别），Agent 还能自动将数据上传给云端大模型进行深度处理，再将结果返回给用户——实现云边协同。

设备主动上报事件

以摄像头场景为例，设备通过 PIR 或帧差法持续检测画面变化，触发拍照并上传云端模型识别对象类型。如果判定为人员入侵，Agent 通过 IM 即时通知用户并附上抓拍照片；若为动物，则静默同时，系统可基于历史事件进行总结，例如：“过去 3 小时过滤了 4 次动物事件，刚检测到一次人员移动。”

Agent 通过 IM 即时通知用户

03 即插即用

MCP 协议统一设备与 AI

MCP (Model Context Protocol) 为 AI Agent 与物理世界之间建立了一套标准化的语义接口。它带来了三个根本性转变：

• 设备接入：设备从"逐一适配"变为"即插即用"；
• AI 推理：AI 从"单指令执行"释放为"跨设备多步编排"；
• 生态关系：不同 Agent 和设备能够使用同一套协议对话。

ESP-Claw 设备具备 MCP Server 和 MCP Client 双重身份——既能被外部 Agent 调用，也能主动调用外部服务，实现真正的双向互联。

• MCP Server（设备端）： ESP-Claw 设备作为 MCP Server，将传感器读取、执行器控制等硬件能力封装为标准 MCP Tool，任何支持 MCP 的 Agent（如 OpenClaw、Claude、Codex）均可直接调用。例如，Claude Code 可以调用开发板上的摄像头拍照识别硬件，或将代码编译进度实时显示在设备屏幕上；

ESP-Claw 设备作为 MCP Server

• MCP Client（调用端）： ESP-Claw 设备同时作为 MCP Client，可以主动调用网络上任何 MCP Server 暴露的服务——不仅是其他 IoT 设备，还包括 PC 端和云端的软件能力。例如，设备可以调用地图软件查询实时路况，或调用聊天软件发送会议提醒——设备从被动的“执行端”变成了能主动获取信息和调度服务的“智能节点”。

ESP-Claw 设备同时作为 MCP Client

04 设备也有记忆、能学习

本地学习，隐私不上云

ESP-Claw 在设备本地实现了一套完整的结构化长期记忆系统。用户偏好、行为习惯与关键事件等私密信息均保存在本地，无需上传云端。同时，系统可自动提取高价值信息，包括：用户显式指令（如“记住这个”）、对话中的偏好与事实，以及重要设备事件（如异常报警或状态变化）。

私密信息均保存在本地

为了适配 MCU 的资源限制，ESP-Claw 引入“摘要标签”机制：对话过程中仅加载轻量级标签目录（如“饮食偏好”“设备状态”“作息规律”），在需要时再通过标签精确召回对应的记忆正文，从而在有限资源下实现高效检索。同时，记忆系统具备自动归并、淘汰与压缩能力，持续优化存储结构。这使设备不再只是记录数据，而是能够基于长期行为进行学习与演进，逐步形成个性化的智能响应能力。

记忆系统持续学习与演进

ESP-CLAW 快速上手

ESP-Claw 现已开源！目前该框架已支持 ESP32-S3、ESP32-C5、ESP32-P4 等芯片，只需一块 DevKitC（入门级开发板）即可开始体验，根据场景需要自由拓展外部传感器和执行器。

1. 浏览器一键刷固件：通过浏览器将固件刷入 ESP32 芯片——无需编程或安装额外开发工具，网页版刷写工具会引导开发者选择对应的芯片型号。
2. IM 聊天即控制：无需安装新 App，可直接使用已有聊天软件控制设备，做到自由切换模型供应商，不依赖任何封闭生态或私有云。

IM 控制流程示意图

欢迎查看 ESP-Claw 开源工程及详细文档，加入乐鑫社区一起探索 AI 原生 IoT 的无限可能！

文章来自于"乐鑫朋友圈"，作者 "乐鑫朋友圈"。