https://zhiyuan1i.github.io/ Recent content on Zhiyuan Li https://zhiyuan1i.github.io/images/papermod-cover.png https://zhiyuan1i.github.io/images/papermod-cover.png Hugo -- 0.155.3 zh-CN Sat, 21 Feb 2026 10:44:23 +0000 https://zhiyuan1i.github.io/posts/dplr-mathematics/ Sat, 21 Feb 2026 10:44:23 +0000 https://zhiyuan1i.github.io/posts/dplr-mathematics/ 深入推导 DPLR 的 chunk-wise 并行算法，理解显式对角+低秩转移矩阵的 WY 表示，探讨其与 KDA/IPLR 的统一框架 https://zhiyuan1i.github.io/posts/kda-mathematics/ Tue, 17 Feb 2026 03:00:00 +0000 https://zhiyuan1i.github.io/posts/kda-mathematics/ 深入推导 KDA 的 chunk-wise 并行算法，从矩阵乘法的基本引理出发，建立 Affine 变换的理论框架，理解 WY 表示和 CP 并行的数学基础 https://zhiyuan1i.github.io/posts/tech-stack/ Mon, 16 Feb 2026 00:00:00 +0000 https://zhiyuan1i.github.io/posts/tech-stack/ 介绍本站使用的技术栈和搭建过程 https://zhiyuan1i.github.io/about/ Mon, 16 Feb 2026 00:00:00 +0000 https://zhiyuan1i.github.io/about/ <h2 id="zhiyuan-li">Zhiyuan Li</h2> <p>AI Infra 工程师，目前就职于 <a href="https://www.moonshot.cn/">Moonshot AI</a>。</p> <p>工作以来一直专注于 <strong>Linear Attention</strong> 方向的高效实现与优化，很荣幸能参与到 <a href="https://github.com/MoonshotAI/Kimi-Linear">Kimi Linear</a> 和 <strong>Kimi Delta Attention (KDA)</strong> 的开发工作中，向团队里的优秀同事们学习了很多。</p> <hr> <h3 id="-关注领域">🔬 关注领域</h3> <ul> <li><strong>Linear Attention</strong>：探索次二次复杂度的序列建模方法，让长序列更高效</li> <li><strong>高效推理优化</strong>：CUDA 内核优化、内存带宽优化、Tensor Core 加速</li> <li><strong>模型架构</strong>：RWKV-6/7、Gated DeltaNet 等新型注意力机制</li> </ul> <h3 id="-开源贡献">🚀 开源贡献</h3> <ul> <li>参与了 <a href="https://github.com/fla-org/flash-linear-attention"><strong>flash-linear-attention</strong></a> 社区项目 - Efficient implementations of state-of-the-art linear attention models</li> </ul> <h3 id="-文章分享">📝 文章分享</h3> <ul> <li><a href="https://zhuanlan.zhihu.com/p/1989809041849988324">从零开始学 KDA-1</a> - 以 Infra 视角理解 KDA 并行化</li> </ul> <hr> <h3 id="-关于本站">💬 关于本站</h3> <p>这里记录我在 AI Infra 领域的学习心得、技术笔记和一些不成熟的想法。水平有限，如有错误欢迎指出，期待与大家的交流。</p> <p><strong>联系方式：</strong></p> <ul> <li>GitHub: <a href="https://github.com/zhiyuan1i">@zhiyuan1i</a></li> <li>知乎: <a href="https://www.zhihu.com/people/f6hoks">@lizhiyuan</a></li> <li>Email: <a href="mailto:lizhiyuan@moonshot.cn">lizhiyuan@moonshot.cn</a></li> </ul>