最近不是闹鱼灾嘛,我也来蹭蹭大肥鱼热度,把大肥鱼塞进掌机,用来聊天和联动全屋智能。

这其实是我之前做过的一个掌上 AI 搭子,角色原先是“电玩元气少女”,但设定确实不如大肥鱼有意思。

于是我就把外观立绘和UI彻底重绘成了蓝色大肥鱼,顺便在NAS端搭了一套长期记忆系统,做成现在这套:

...

掌机是芒米Air Y Pro,骁龙865、8GB内存,带一块4:3屏幕、扬声器、降噪麦、双摇杆RGB灯带和一整套实体微动按键,root还很方便。

我一直觉得它太适合用来改一台随身物理AI终端了,像市面上最常见的是Codex Micro、哈基米Dock那种桌面小工具,但我已经有类似的了,所以就想着不如彻底榨干掌机的机械微动按键,做点不一样的。

整套架构其实跟我之前爆改的小爱触屏音箱一脉相承,但这次按键多了,能承载的物理操作大幅升级:不仅能随身聊AI、敲定待办,还能当会议录音机,音频会自动同步回NAS归档提炼。

数据中枢放在NAS上。记忆存储没搞重型向量库,而是用了单文件SQLite配FTS5全文索引,内存占用小,检索快。短期对话直接走内存,聊完6秒,后台自动提炼事实卡片存入数据库。


到了半夜,大肥鱼还会写一篇工位日记,复盘今天发生了什么。现在我每天都看大肥鱼写的日记,偷感很重,很有趣。

掌机是跟大肥鱼沟通的一个物理渠道,偏本地,而飞书端同样打通了NAS,出门在手机上也能无缝接续对话和记忆。

另一个大升级是局域网联动智能家居。打通了Home Assistant和本地MiLoCo,目前能做到让大肥鱼调用家庭屏广播、调取4 Max摄像头巡视工位桌面、抓取温湿度做主动舒适度关怀、驱动扫地机器人等等。

这是一个搭积木的过程,每接进一个硬件,就在掌机界面里给它捏一张状态卡片。目前来看,其实也跟桌面的触屏音箱差不多,不过后期数据和产品多了,慢慢迭代,大肥鱼也可以主动帮忙规划家居调度嘛,我飞书也可以直接通过聊天获取工位的环境信息,多模态聊天了属于是。

当然,如果你也想拿废旧安卓掌机改这类东西,有三个深坑必须提前避开:
安卓系统的声卡独占冲突
机械微动按键杂音与收音吞字
底噪引发大模型幻觉自导自演

如果联动了摄像头,推流一定要做按需抓图,之前写错成主动轮询模式,一个小时可以狂刷了百万Token,也是相当生猛。

整这么个小玩意。从写ALSA底层音频驱动、适配4:3布局,到NAS部署双Agent记忆,前前后后折腾了几十个版本。你要说这玩意儿有什么不可替代的生产力吗?

其实并没有。
它说白了就是一个自制小玩具。但现在市面上那些功能简陋、断网就变砖的所谓“AI硬件”,动辄要卖几百上千块;把闲置掌机改一改,不仅立省上千,还拥有全套物理微动的真实击键感,又能在工位养一头可爱的大肥鱼,也挺有意思的,就是娱乐嘛。

不过确实还是有不少需要完善的,比如大肥鱼的立绘其实就比较糙、动作幅度也比较小,没办法确实额度不够了,先顶一顶嘛。


还有个核心问题我一直没有好的方案,就是如何让大肥鱼及时获取我的健康数据来参与决策,这让大肥鱼少了不小的主观能动性。

下次再继续整点没用的~
文章来自于微信公众号 “蓝发少年Linky”,作者 “蓝发少年Linky”
【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。
项目地址:https://github.com/Significant-Gravitas/AutoGPT
【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。
项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】graphrag是微软推出的RAG项目,与传统的通过 RAG 方法使用向量相似性作为搜索技术不同,GraphRAG是使用知识图谱在推理复杂信息时大幅提高问答性能。
项目地址:https://github.com/microsoft/graphrag
【开源免费】Dify是最早一批实现RAG,Agent,模型管理等一站式AI开发的工具平台,并且项目方一直持续维护。其中在任务编排方面相对领先对手,可以帮助研发实现像字节扣子那样的功能。
项目地址:https://github.com/langgenius/dify
【开源免费】RAGFlow是和Dify类似的开源项目,该项目在大文件解析方面做的更出色,拓展编排方面相对弱一些。
项目地址:https://github.com/infiniflow/ragflow/tree/main
【开源免费】phidata是一个可以实现将数据转化成向量存储,并通过AI实现RAG功能的项目
项目地址:https://github.com/phidatahq/phidata
【开源免费】TaskingAI 是一个提供RAG,Agent,大模型管理等AI项目开发的工具平台,比LangChain更强大的中间件AI平台工具。
项目地址:https://github.com/TaskingAI/TaskingAI