谷歌DeepMind新MoR架构，能否成为Transformer终结者？
近日，谷歌DeepMind联合多家机构推出了全新的MoR架构。该架构通过统一参数共享、自适应递归深度和高效KV缓存等方式，在降低计算和内存成本的同时保持大模型性能。这可能引发AI行业的一场变革，对技术研发和实际应用产生深远影响。
Transformer
36KR热点
ChatGPT发布2周年：我眼中的GPT模型成长之路
本文从个人视角回顾了ChatGPT发布2周年以来GPT模型的成长历程，探讨了其技术进步、面临的挑战以及未来的发展方向。
LSTM之父的惊人声明：1991年我就提出了线性自注意力机制，领先Transformer 26年
LSTM之父Jürgen在报告中指出，他在1991年就已经提出了线性自注意力机制，这一发现比Transformer早了26年。本文将带你深入了解这一惊人的历史，并探讨其对未来AI发展的影响。
深度揭秘：GPT核心机密意外曝光背后的真相
本文从小明的视角出发，详细解读了微软论文意外曝光GPT核心机密事件。通过分析4o-mini和o1模型的特点以及GPT的技术原理，探讨了这一发现对AI行业的深远影响。
浙大校友革新Transformer，多token注意力让LLM错误率归零！
作为一名技术爱好者，他被浙大校友团队提出的多token注意力机制深深吸引。这项技术不仅大幅提升了LLM的性能，还让错误率几乎归零。通过深入分析Ling-Plus框架的原理与优势，他看到了这项技术在未来AI领域的巨大潜力。
Transformer创始人创业公司推出一句话生成专属LoRA，颠覆LLM微调技术！
Transformer创始人团队推出的‘一句话生成任务专属LoRA’技术，正在颠覆传统LLM微调方式，极大降低AI模型定制门槛。