Will It Jev?

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
Will It Jev?
访问
18
29485

在调用 LLM 之前,先问一句:它能 JEV 吗?


Will It Jev 是一款基于 Rust 的进程内 LLM 路由引擎,能够在 5 毫秒内完成请求的分类与路由分配。它通过字节级自动机、子词分类器和闭式评估器构建的多级确定性回退机制,仅在必要时才升级到 embedding 模型或大语言模型。因此,大多数简单请求可以直接在本地解析,无需触及任何外部模型。