StepCoder将长序列代码生成任务分解为代码完成子任务课程来缓解强化学习探索难题，对未执行的代码段以细粒度优化；还开源了可用于强化学习训练的APPS+数据集。
AI世界的进化快的有点跟不上了。刚刚，全球最强最大AI芯片WSE-3发布，4万亿晶体管5nm工艺制程。更厉害的是，WSE-3打造的单个超算可训出24万亿参数模型，相当于GPT-4/Gemini的十倍大。
港大发布通用图基座模型OpenGraph，巧妙从LLM中蒸馏零样本图泛化能力。
LLM开源从Infra做起！Meta公布了自己训练Llama 3的H100集群细节，看来Llama 3快来了。
OpenAI上一笔融资不到八个月，Figure就来交卷了！这个机器人能说会动，还能自主推理，给自己布置任务。最炸裂的是，它完全是自主行动，没有远程控制！1.0倍速的原视频一出，网友们震惊了。
新模型bGPT是一个基于字节的Transformer模型，能够将不同类型的数据纳入同一框架之下，可以生成文本、图像和音频，还能模拟计算机行为，数字世界将迎来真正的大一统？
随着大语言模型（LLM）的发展，很多研究发现LLM能够展现出稳定的人格特质，模仿人类细微的情绪与认知模式，还能辅助各种各样的社会科学仿真实验，为教育心理学、社会心理学、文化心理学、临床心理学、心理咨询等诸多心理学研究领域，提供了新的研究思路。
刚刚，OpenAI超级对齐团队负责人官宣开源Transformer调试器。研究人员不用写代码，就能快速探索LLM的内部构造了！
GraphEdit方法可以有效地去除图网络中的噪声连接，还能从全局视角识别节点间的依赖关系，在不同的实验设置中都被验证为有效且稳健。
挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。
