你写提示词应该更直白一点,把Top-k直接写进Prompt,无需提示的思维链推理 | DeepMind
你写提示词应该更直白一点,把Top-k直接写进Prompt,无需提示的思维链推理 | DeepMind高端的食材,往往只需要最朴素的烹饪方式;高端的提示词也一样,把Top-K写进来,一个专属于你的CoT-decoding解码策略应运而生!丝毫不要怀疑LLM的推理能力,在这个维度上,它比我们懂!
来自主题: AI资讯
8985 点击 2024-09-10 10:48
搜索
高端的食材,往往只需要最朴素的烹饪方式;高端的提示词也一样,把Top-K写进来,一个专属于你的CoT-decoding解码策略应运而生!丝毫不要怀疑LLM的推理能力,在这个维度上,它比我们懂!
AI编程初创公司Magic发布1亿上下文窗口模型,编码能力超级加倍
专注于计算机图形学的全球学术顶会 SIGGRAPH,正在出现新的趋势。
推测解码(Speculative Decoding)是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下,获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。
字节跳动联合中科院自动化研究所提出新方法,用AI快速检测出视频中的高光片段,对输入视频的长度以及期望提取的高光长度都具有极高的灵活性,相关论文已被AAAI 2024收录。