MidReal 创始人陈锴杰，持续创业者，大学毕业后一直在创业，从18 ~19 年休学创业做家庭智能机器人，到2020 年开始第二次创业做 AI agent for Gaming，曾基于 GPT-2 等技术，在 ChatGPT 推出前实现“斯坦福小镇”等创新游戏模式，目前在做的是 AI 互动的小说故事创作，也就是今天的 MidReal。
2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Transformer 架构，可见其影响之广。 作为一种神经网络架构，Transformer 在从文本到视觉的多样任务中广受欢迎，尤其是在当前火热的 AI 聊天机器人领域。
论老黄卖铲子的技术含量。
距上次Karpathy AI大课更新之后，又有了1个多月的时间。这次他带了超详细的4小时课程——从零开始实现1.24亿参数规模的GPT-2模型。
AI 大牛 Andrej Karpathy 又「上新」了，这次一口气放出了长达四个小时的视频。
大神Karpathy已经不满足于用C语言造Llama了！ 他给自己的最新挑战：复现OpenAI经典成果，从基础版GPT-2开始。
OpenAI正在秘密A/B测试下一代模型，实力超强被怀疑是GPT-4.5或GPT-5。
答案揭晓了！ 「神秘gpt2-chatbot不是GPT-4.5」。
一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」
纯C语言训练GPT，1000行代码搞定！，不用现成的深度学习框架，纯手搓。 发布仅几个小时，已经揽星2.3k。
