开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!
8886点击    2026-10-11 22:34

开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


视频复刻这件事,AI 一直没啃下来。


不是没人想做,而是过去模型能力确实不够。你让 AI 去理解一条爆款视频的节奏、画面切换、台词和特效之间的配合关系,然后用新的内容重新做一遍,这个难度比写一篇文章、画一张图要高出好几个量级。


直到最近 Opus 5.5 的推出:它第一次证明了 AI 可以通过写代码来复制一条视频的结构和节奏。它的做法通常是写一堆一次性脚本,分别调用图像生成、语音合成、视频生成模型,再用 FFmpeg 拼接、上字幕、导出。


如果只做一条简单视频,这种方式勉强能用。但一旦你要修改、要复用、要同一个模板出 100 条变体,这些脚本就会变成噩梦。改一句台词要重新校准所有画面和轨道,换一个模型要重写一批调用脚本,下一条视频又要从零开始。


除此之外,使用 Opus5.5 这样的模型太贵了,模型每次都要从零开始理解视频结构,写一堆一次性脚本,调用各种生成模型,光 Token 费用就能劝退大部分人。


然后我们在 GitHub 上看到了 Hypit.ai。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


开源十天,16000 个 Star,trendshift 连续三天力压 Cloudflare 和阿里的开源项目。十天收入超过 16 万港币,而且它是完全开源的,大部分用户根本不需要付费,自己本地部署就能跑。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


我们花了两天时间把这个项目从头到尾研究了一遍,越看越觉得这件事没那么简单:它表面上是一个视频复刻工具,但背后藏着一个很大的野心。


先看它到底能做什么


最直观的能力就是复刻爆款视频。


你给它一条视频作为参考,告诉它你想换成什么内容,它就能生成一条结构、节奏、视觉风格高度一致的新视频。


GitHub 仓库里放了几组官方示例,每组左边是参考原片,右边是同一份源码改出的三个变体。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


比如一条 20 秒的足球排行榜视频,三个复刻分别是:主播换成香蕉猫、排名反转让 C 罗成为 GOAT、球员全部换成科技公司创始人。结构和节奏跟原片完全一致,变的只是人物和内容。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


还有一条 18 秒的双人播客片段,复刻版把主持人换成了 Pepe 和 Doge,产品从肌酸换成视黄醇,实体产品换成一个 App。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


然后再看一条复刻「小 Lin 说」风格的复杂口播视频:


原视频是这样的:


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


复刻视频是这样的:


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


137 秒,17 段口播,20 条轨道,人物口播和动态图形交替出现,局部和整体互相解释,主播形象和声音全部由 AI 生成。


这已经远远超出了简单的视频模仿,它迁移的是一整套视频语言的讲法。


这样看,其实 Hypit 想留下的不只是一次高质量的复刻,而是一份能继续修改、换内容、做变体的视频工程。复刻是入口,持续创作才是它真正要解决的问题。


Hypit 给了 Agent 一套高层的语言和系统,但不是要把人排除在外:人依然可以给出判断和品味、提出建议和要求、以及快速使用手眼修改。


随着 Hypit 的开源,社区创作者在 X 上发布了大量用 Hypit 制作的视频,覆盖排行榜、口播、双人对话、产品宣传片、换装、3D 动效和长视频。


一位曾被 OpenAI 和 A16Z 投资过的创始人,在硅谷创业的 Xiaoyin,自从用了 Hypit 之后,直接把公司的剪辑师全部辞退了,把所有视频制作全部切到 Hypit 上。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


而另一位大牛创作者 Yihui 则把 Hypit、Heygen 和 Codex 组合用于海外社媒营销,直接感叹:“我的海外社媒营销被彻底拯救了!”


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


Hypit 正在杀死传统剪辑


如果视频可以复刻,那么意味着 Agent 理解了视频,理解后为什么不能直接修改呢...


想到这里,开始意识到一件事:复刻视频只是 Hypit 选择的市场切入点,它真正想要做的东西可能是杀死 AI 剪辑。


说「杀死」可能有点激进,但 Hypit 团队的目标确实是这样写的:


想要 kill Adobe、CapCut、DaVinci。如果你仔细想想它的逻辑链条,又觉得不是完全没道理:


传统剪辑软件的核心交互,是人用鼠标在时间线上拖拽素材。这个范式在过去几十年里运转得很好,因为人既是意图方也是执行方。


但当 Agent 开始介入视频制作,它需要的是一种可以读写的文本格式,而剪辑软件的工程文件是封闭的,Agent 读不了也写不了。


虽然强大的 Agent 可以使用 broswer use 或者 computer use 能力,但类似剪映的 Saas 工具并非为 AI 而原生设计,AI 难以直接调用。


而打败剪映的一定不是另一个把剪映重新做一遍的 Agent:


palmier、chatcut 这样的工具虽然一度爆火,但它本质还是在用剪映的思维做剪辑,然而让我们抛开 AI,只是单独复刻剪映这样的 IDE 复杂度和成熟工具,就可能要一个成熟的团队几年时间:你可以回想一下,当初 Cursor 在爆火之前,打磨 IDE 也花了两年时间。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


剪映和它的 AI 工具各有各的不足,这导致 AI 剪辑一度陷入了困境,甚至在今年都没有听说和见过 AI 完全杀死剪辑的 show case。


但如果你从第一性原理的角度重新思考这个问题,也许可以摸到一些解决思路:从根本上看,AI 剪辑的最本质的问题还是厂商在沿用过去人类操作剪映的经验和逻辑,也就是 Saas 的语言和视角做 Agent 替代。


回到开头提到的 Opus 5.5,它能在没有任何视频工具的情况下制作视频时,它会自发写一份生产手册、二十多个底层动画脚本、十几个一次性的模型调用脚本,然后花大量时间配置 API。


它其实是在每次视频制作中重新发明一套高层抽象,而这套抽象用完一次就只能丢弃。


这让想到软件行业几十年前经历过的事情。从汇编到 C,从过程式到面向对象,再到 HTML、CSS、SQL,每一次向上抽象都是因为底层操作太碎太重复,需要一个中间层来承载意图。


视频制作领域之所以一直没有经历这一步,是因为过去剪辑师用手和眼直接操作软件,不需要写代码,自然也就没有向上抽象的动力。


但 AI 改变了这个前提:Agent 成为创作的意图方,模型和渲染器成为执行方。一个模板要出 100 条变体,执行端变成几十个每月换代的生成模型,中间缺了一层高层语义。


换句话说:AI 时代,我们应该需要面向 Agent 来做开发。视频剪辑领域最大的问题,其实是缺了一层让 AI 可以高效读写的语言。


而 Hypit 背后的团队洞悉到了这一点,补上了这一层,然后用「复刻」这个最直观的需求点引爆了市场。


Hypit 的架构分成六层,从上到下是 Agent 层、创作层、编译层、内核层、运行层、能力层。每一层可以独立演进,模型换代只改能力层,新的视频形态只添加新组件,基座模型变强只会抬高 Agent 层的上限,中间的语法和系统保持稳定。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


它还做了一个 Studio 工作台,让人可以可视化地预览和调整。在那条 137 秒的小 Lin 说风格视频的制作过程中,一共收到了 141 条锚定在具体时间点上的修改意见,Agent 批量读取、修改源码,然后标记完成。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


这种人机协作的方式,跟传统剪辑软件里人手动一帧一帧调整完全不同,也跟纯 AI 生成然后人只能说「好」或「不好」不同。


它找到了一个中间态:人负责判断和品味,Agent 负责执行和修改,沟通的媒介是源码和带时间点的评论。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


研究产品的时候顺便看了下团队背景,发现这群人也是一个很有故事的组合:


创始人陈昱东,北大本科毕业,清华硕士读了又退了,在真格基金做过 AI 投资分析。但他毕业后没去毕业旅行,跑去广州城中村跟蟑螂合租 15 平米,然后隐瞒学历去了一家小黑工跨境电商 MCN 公司做了一个多月,就为了理解真正的内容生产闭环。后来又在广州买了 40 台二手 iPhone 搭网络养账号做 AI 内容矩阵。


技术合伙人金群琳,清华计算机本科,上海高考第三名,在智谱 AI 参与过 CogVideoX 视频生成模型的训练,在 CMU 跟着朱俊彦教授做过视觉共创项目,现在港大读博。


然后团队里还有一个 18 岁的高中毕业生 rpone,B 站 4.6 万粉,做出过 7 条百万级播放视频,是 Hypit 开源项目代码贡献量最多的人。还有一个 16 岁的高二学生可丽饼,负责整个 launch campaign 的市场工作,用很低的成本撬动了很大的流量。


陈昱东说他招来 rpone 和可丽饼之后,「成功说服鲨鱼不去读大学,成功说服可丽饼高中 gap」。


这种组队方式,在国内创业圈确实不太常见。


SVML 是一门什么样的语言


Hypit 团队创造了一门叫 SVML 的语言,全称 Semantic Video Markup Language,语义视频标记语言。


它把视频从「时间线上的素材排列」变成了「可以被编译的源代码」。


举个例子,回到刚刚提到的球星排名的竖屏口播视频。可以看到,在 Hypit 执行的时候,左边是这条视频的源代码,右边是渲染出来的成品视频。主播说到哪句台词,左边就高亮哪句台词,以及此刻正在起作用的那几行代码。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


在 Hypit 里,一个项目就是一个文件夹:需求和分镜思路、SVML 源码和样式表、每一次运行的记录、这个项目自己定义的组件、带时间点的审阅意见,以及最终成片。


当讲解视频的每一条锚定在时间点上的意见,都对应着源码里的一处修改。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


具体到语法层面,SVML 有几个让我们印象很深的设计。


最核心的一点:台词就是时间轴。作者在写稿时往台词上圈出一段话,就能表达「这段话期间放这张图」。


整份源码里不会出现「第 3.2 秒」这样的硬编码时间戳。无论修改台词、切换语言还是重新生成语音,画面都会自动跟随对应的语义位置。


这也是复刻能成立的核心原因:爆款视频好看,往往在于台词和画面的联动关系,SVML 把这种关系写进了源码,所以可以原样带到新的内容上。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


此外,主播形象、声音、配图,都由源码里的声明交给模型去生成,一行就是一个完整意图。


而源码的声明会被编译成:「要一张什么样的图、放在哪句话上」这样的特定语法语言,而非传统 AI 工具的「先调哪个接口、存到哪个文件夹」这样的 API 语言。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


而且,制作意图和运行意图的分离,还让「抽卡」这件事从黑盒变成了白盒。


第一次,先生成主播和配图,确认方向;第二次,复用已经认可的素材,完成口播和成片;第三次,只换配图,保留口播。这不是每次重新抽一条视频,而是在同一份工程上继续创作。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


这样一份视频源文件可以继续替换人物、台词、产品、语言、画幅,也可以复用已经生成的素材,批量产出几十上百个变体。模型可以替换,服务商可以替换,创作逻辑本身保留。


你能用 Hypit 做什么


聊完产品和技术,回到一个更实际的问题:普通人能用它做什么。


最近 Personal Agent 赛道正在大火。三个月前大家都在养龙虾,现在又开始重新做 Personal Agent。之前一直没想明白这两件事的区别,直到看到一个帖子才理解过来:


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


是的,龙虾是龙虾,Personal Agent 是 Personal Agent。


在龙虾出现之后,随着 Harness 工程和 AI 能力的提升,Agent 才开始真正解锁更多基础设施场景。如果对比龙虾,得出了这样的理解:


Personal Agent = 龙虾 + 各种全新的 Agent 基础设施(本地能访问的浏览器、电脑、邮箱、飞书…)+各种垂直领域的专业工具(Blender、...)。


前段时间,我们团队推出了 TokenPay 和爱猹收,为 Personal Agent 提供了基础设施。


而现在,Personal Agent 又集成了 Hypit 这样的 AI 工具,给生态再添一位大将。


这意味着什么?旅游的时候可以让 Agent 帮你把手机里的照片和视频剪成一条带字幕、带音乐、带转场的 vlog。你想做自媒体,可以找到一条爆款视频作为参考,让 Agent 用 Hypit 复刻它的结构和节奏,换上你自己的内容,批量产出不同语言、不同风格的变体。


值得一提的是,Hypit 也第一时间接入了我们的 TokenPay,帮助各位用户更好的使用服务。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


然后发布到自己的自媒体上,你就是一个具有 AI 能力的自媒体,如果做起来了你就可以成为 OPC。


已经有用户在这么做了。比如一个用户用 Coding Agent 结合 Hypit,再结合一些 AIGC 模型,把自己原先的 talking heads 视频全部自动化了。


从更长远的角度看,Hypit 在做的事情有点像视频领域的 HTML。


HTML 能成为标准,靠的不是规范写得最好,而是它最早转起了自我强化的飞轮:网页越多,可以查看和模仿的源码越多;源码越多,工具越要支持它;支持越好,写网页的人越多。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


Hypit 的飞轮也在转:开源十天,已经有约 30 位外部开发者提交了 80 余个 PR,社区主动接入了 Higgsfield、ElevenLabs 等服务商,有开发者把 Manim 数学讲解视频做成了完整的 Hypit 生产工程贡献出来。


每一个新的服务商、组件、示例,都会立刻变成所有 SVML 作品都能使用的能力。


开源 20 天 2 万 Star,00 后清北团队给 Agent 创造了一门视频语言!


公开的 SVML 项目和组件越多,下一代基座模型在预训练中见到的 SVML 就越多。到那时,SVML 对 AI 来说,就会像 HTML 一样,成为不需要额外教的默认视频格式。


如果你也在做视频相关的工作,或者对 Agent 时代的内容生产感兴趣,去 GitHub 上搜 Hypit 看看。


它可能是今年视频领域最值得关注的开源项目。


文章来自于微信公众号 “特工宇宙”,作者 “特工宇宙”

AI转型,免费服务,就找AITNT
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md