Tokenization，再见！Meta提出大概念模型LCM，1B模型干翻70B？
Tokenization，再见！Meta提出大概念模型LCM，1B模型干翻70B？Meta提出大概念模型，抛弃token，采用更高级别的「概念」在句子嵌入空间上建模，彻底摆脱语言和模态对模型的制约。
来自主题: AI技术研报
9226 点击 2025-01-07 18:11
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Meta提出大概念模型，抛弃token，采用更高级别的「概念」在句子嵌入空间上建模，彻底摆脱语言和模态对模型的制约。
2019 年问世的 GPT-2，其 tokenizer 使用了 BPE 算法，这种算法至今仍很常见，但这种方式是最优的吗？来自 HuggingFace 的一篇文章给出了解释。
BLT 在许多基准测试中超越了基于 token 的架构。
卡内基梅隆大学提出了视频生成模型加速方法Run-Length Tokenization（RLT），被NeurIPS 2024选为Spotlight论文。 在精度几乎没有损失的前提下，RLT可以让模型训练和推理速度双双提升。
在生成式模型的迅速发展中，Image Tokenization 扮演着一个很重要的角色，例如Diffusion依赖的VAE或者是Transformer依赖的VQGAN。这些Tokenizers会将图像编码至一个更为紧凑的隐空间（latent space），使得生成高分辨率图像更有效率。
关于大模型分词（tokenization），大神Karpathy刚刚推荐了一篇必读新论文。