AI资讯新闻榜单内容搜索-llama.cpp

关键词: 模型训练,AI新闻,llama.cpp,人工智能

几周前，我们发布了 jina-embeddings-v4 模型的 GGUF 版本，大幅降低了显存占用，提升了运行效率。不过，受限于 llama.cpp 上游版本的运行时，当时的 GGUF 模型只能当作文本向量模型使用而无法支持多模态向量的输出。

关键词: NPU,LLM,T-MAC,模型训练,mpGEMM

T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。