LLM的「母语」是什么？
LLM的「母语」是什么？在以英语为主的语料库上训练的多语言LLM，是否使用英语作为内部语言？对此，来自EPFL的研究人员针对Llama 2家族进行了一系列实验。
来自主题: AI技术研报
10456 点击 2024-06-03 10:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
在以英语为主的语料库上训练的多语言LLM，是否使用英语作为内部语言？对此，来自EPFL的研究人员针对Llama 2家族进行了一系列实验。
机器翻译 (MT) 的最新进展显着提高了各个领域的翻译质量。然而，由于其复杂的语言、比喻表达和文化差异，文学文本的翻译仍然是一个艰巨的挑战。
LLM有记忆能力吗？有，也没有。虽然ChatGPT聊天时好像可以记住你之前说的话，但实际上，模型在推理时记不住任何内容，而且它们在训练时的记忆方式也不像我们想象的那么简单。
刚刚，谷歌DeepMind、JHU、牛津等发布研究，证实GPT-4的心智理论已经完全达到成年人类水平，在更复杂的第6阶推理上，更是大幅超越人类！此前已经证实，GPT-4比人类更能理解语言中的讽刺和暗示。在心智理论上，人类是彻底被LLM甩在后面了。
第一批AI音乐的听众群，正在Suno的社区中被培养出来。
以科技伦理视角，应对不确定性的底线。
即使最强大的 LLM 也难以通过 token 索引来关注句子等概念，现在有办法了。
由业内大佬Amnon Shashua创立的Mentee Robotics，突然放出大招，将AI的能力嵌入到机器人的各个层面，实现了与世界的动态交互。
Aya23在模型性能和语言种类覆盖度上达到了平衡，其中最大的35B参数量模型在所有评估任务和涵盖的语言中取得了最好成绩。
在LLM能力突飞猛进的当下，所有研究者似乎都在关注数据、算力、算法等模型开发的各个方面，但OpenAI研究员Jason Wei最近发布的一篇博客文章提醒我们，模型评估的工作同样非常重要。如何开发出优秀的评估测试，对AI能力的发展方向至关重要。