当 Transformer 席卷计算机视觉领域，高分辨率图像、超长序列任务带来的算力与显存瓶颈愈发凸显：标准 Softmax 注意力的二次复杂度，让 70K+token 的超分辨率任务直接显存爆炸，高分辨率图像分割、检测的推理延迟居高不下。
在十九世纪的暹罗王国曾诞生过这样一对连体兄弟：他们分别拥有完整的四肢和独立的大脑，但他们六十余年的人生被腰部相连着的一段不到十厘米的组织带永远绑定在了一起。他们的连体曾带来无尽的束缚，直到他们离开暹罗，走上马戏团的舞台。十年间，两兄弟以近乎合二为一的默契巡演欧美，获得巨大成功。
这篇新论文提出了一种非常简单的新激活层 Derf（Dynamic erf），让「无归一化（Normalization-Free）」的 Transformer 不仅能稳定训练，还在多个设置下性能超过了带 LayerNorm 的标准 Transformer。
低秩适配器（LoRA）能够在有监督微调中以约 5% 的可训练参数实现全参数微调 90% 性能。
EgoNormia基准可以评估视觉语言模型在物理社会规范理解方面能力，从结果上看，当前最先进的模型在规范推理方面仍远不如人类，主要问题在于规范合理性和优先级判断上的不足。
神经网络通常由三部分组成：线性层、非线性层（激活函数）和标准化层。线性层是网络参数的主要存在位置，非线性层提升神经网络的表达能力，而标准化层（Normalization）主要用于稳定和加速神经网络训练，很少有工作研究它们的表达能力，例如，以Batch Normalization为例
