【轻量化复刻大模型 / KIMI K3】KDA（Kimi Delta Attention）：并行

原文：【轻量化复刻大模型 / KIMI K3】KDA（Kimi Delta Attention）：并行

掘金 · score 44.0 · 11/3/2026, 5:29:31 AM

打开原文查看来源榜单

摘要

【轻量化复刻大模型 / KIMI K3】KDA（Kimi Delta Attention）：并行 0x00 概要 0x04 子知识点深度分析 4.7 ShortConv、SiLU 与 L2 归一化（无

原文摘要：【轻量化复刻大模型 / KIMI K3】KDA（Kimi Delta Attention）：并行 0x00 概要 0x04 子知识点深度分析 4.7 ShortConv、SiLU 与 L2 归一化（无

原始内容

【轻量化复刻大模型 / KIMI K3】KDA（Kimi Delta Attention）：并行 0x00 概要 0x04 子知识点深度分析 4.7 ShortConv、SiLU 与 L2 归一化（无