低精度只适用于未充分训练的LLM？腾讯提出LLM量化的scaling laws
低精度只适用于未充分训练的LLM？腾讯提出LLM量化的scaling laws本文介绍了一套针对于低比特量化的 scaling laws。
来自主题: AI技术研报
7545 点击 2024-12-29 17:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
本文介绍了一套针对于低比特量化的 scaling laws。
最近，LAION AI 的创始人 Christoph Schuhmann 分享了一个有趣的发现，他指出，文本向量模型似乎存在一个问题：即使句子词序被打乱，模型输出的向量与原句仍然高度相似。
近期NexusTrade的创始人Austin Starks撰文介绍了他使用OpenAI o1模型构建投资组合的一些经验。并展示如何使用OpenAI o1彻底改变金融市场的研究、分析和交易方式。
今天和大家分享一个我最近搞定的小工具，简单来说，它可以一句话生成一个完整的网页应用，成本低到不可思议——一毛钱就能实现一句话生成应用，甚至配合之前文章提到过的 open router[1] 上的开源 Google 的 Gemini2.0 免费大模型，完全 0 成本！
一个来自中国的开源模型，让整个AI圈再次惊呼“来自东方的神秘力量”。 昨天，国内知名大模型创业公司“深度求索”通过官方公众号宣布上线并同步开源 DeepSeek-V3模型，并公布了长达53页的训练和技术细节。
近年来许多论文研究了基于扩散模型的定制化生成，即通过给定一张或几张某个概念的图片，通过定制化学习让模型记住这个概念，并能够生成这个概念的新视角、新场景图片。
对抗攻击，特别是基于迁移的有目标攻击，可以用于评估大型视觉语言模型（VLMs）的对抗鲁棒性，从而在部署前更全面地检查潜在的安全漏洞。然而，现有的基于迁移的对抗攻击由于需要大量迭代和复杂的方法结构，导致成本较高
超越ControlNet++，让文生图更可控的新框架来了！
全球用户累计生成700万3D模型，海外上千用户上传自己生成的3D动画短片……
2023年6月，理想汽车推出了自研认知大模型“Mind GPT”，它以“理想同学”App的形式出现在理想汽车的车机中，支持通过自然语言交流、发送指令。2024年，Mind GPT升级到3.0，带来了行业领先的自然语言任务执行功能。