Transformer的无限之路：位置编码视角下的长度外推综述
Transformer的无限之路：位置编码视角下的长度外推综述在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。
来自主题: AI技术研报
8473 点击 2024-01-16 10:13
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。
IMF在报告中写到，人工智能技术将会进一步加剧不同国家之间、不同收入阶层之间的贫富差距。IMF主席克里斯塔利娜·格奥尔基耶娃（Kristalina Georgieva）在文章中表示：“在大多数情况下，人工智能可能会加剧整体不平等。这是一个令人不安的趋势，政策制定者必须积极应对，以防止这项技术进一步加剧社会紧张局势。”
Nature今年的统计显示，有78%的科学家还没有将ChatGPT等AI工具纳入日常研究中来。
ChatGPT是世界上最强大的模型，不过，它虽然知道你想让它帮你买票，但它却不懂如何买票，它能力的上限就摆在那儿了。好在OpenAI在GPT模型引入了一个强大的功能--函数调用(function call)。
当地时间2024年1月9日，2024年国际消费电子展(CES 2024)在美国拉斯维加斯举办。AI for All成为CES大会的关键议题之一。
2022年10月30日，ChatGPT的横空出世，仅用几天的时间就改变了包括学术界在内的各行各业的，在OpenAI的成果的光辉下，有一个独特的模型，来自Meta团队的Galactica在ChatGPT三天前上线就被迫下线，这一度成为了LeCun教授的意难平。
近日，CMU Catalyst 团队推出了一篇关于高效 LLM 推理的综述，覆盖了 300 余篇相关论文，从 MLSys 的研究视角介绍了算法创新和系统优化两个方面的相关进展。
Sam Altman结婚了！1月10号，他和好友Oliver Mulherin在夏威夷低调举行了婚礼，场面温馨，众多名人纷纷送上祝福。Altman在此前的采访中也表示过，希望和另一半尽快生个孩子。
AI绘图作为跟大语言模型并驾齐驱的最成熟的模态之一。
LAMM (Language-Assisted Multi-Modal) 旨在建设面向开源学术社区的多模态指令微调及评测框架，其包括了高度优化的训练框架、全面的评测体系，支持多种视觉模态。