
不分割成token,直接从字节中高效学习,Mamba原来还能这样用
不分割成token,直接从字节中高效学习,Mamba原来还能这样用模型通过学习这些 token 的上下文关系以及如何组合它们来表示原始文本或预测下一个 token。
模型通过学习这些 token 的上下文关系以及如何组合它们来表示原始文本或预测下一个 token。
一个体量仅为2B的大模型,能有什么用?答案可能超出你的想象。
2B性能小钢炮来了!刚刚,面壁智能重磅开源了旗舰级端侧多模态模型MiniCPM,2B就能赶超Mistral-7B,还能越级比肩Llama2-13B。成本更是低到炸裂,170万tokens成本仅为1元!
我基于结合大量示例及可视化的图形手段给大家科普了AI大模型的相关算法和核心概念。
2023年,计算机领域都发生了哪些大事?Quanta Magazine的年终盘点来了。
就在昨天,百川智能正式发布Baichuan2-Turbo系列API,192K的超长上下文窗口+搜索增强知识库,解决了困扰行业已久的大模型商用落地难问题。
小羊驼团队的新研究火了。他们开发了一种新的解码算法,可以让模型预测100个token数的速度提高1.5-2.3倍,进而加速LLM推理。
千亿级大模型正迅速耗尽世界的高质量数据。对此,英伟达和UT提出了MimicGen系统。从人工合成数据中获得人工智能,将是未来的发展方向。
这两天,FlashAttention团队推出了新作: 一种给Transformer架构大模型推理加速的新方法,最高可提速8倍。 该方法尤其造福于长上下文LLM,在64k长度的CodeLlama-34B上通过了验证