Welcome to Senj's Digital Garden

欢迎来到我¹ 的数字花园，这里是我在学习、生活中的经历、思考、学习的记录，欢迎阅读、斧正，如果有问题交流，欢迎来邮：lisj24 at mails.tsinghua.edu.cn，或者在本博客页底的评论区² 中发起讨论。

🎵: Have a relax!

最近更新

最近更新

• 推理引擎 / Inference
  • 2026-02：从 nano-vLLM 入门推理引擎（一）：引擎核心架构与调度设计
  • 2026-01：关于 LLM 推理的一切（The Scaling Book Section 7）
• LLM Infra / The Scaling Book
  • 2026-01：How to Parallelize a Transformer for Training（训练并行策略）
  • 2026-01-25：The Scaling Book：LLM Infra 系统化阅读笔记（持续更新）
• DeepSeek / MoE
  • 2025-12-23：从 EPLB 算法到 DeepSeek V3 推理实践的分析
  • 2025-05-15：Insights into DeepSeek-V3：软硬协同与 Infra 视角解读
  • 2025-02-25：EP 通信库笔记
  • 2025-02-18：DeepSeek V3 Technical Report：Annotation
• 数据中心网络 / 架构与路由
  • 2025-06-24：CloudMatrix384：面向 MoE 的 LLM Serving 架构笔记
  • 2025-04-17：UB-Mesh：华为面向 AI 的数据中心网络架构笔记
  • 2025-03-15：RDMA over Ethernet for Distributed AI Training：Conclusion
  • 2025-03-08：Primus：centralized routing：Annotation
  • 2025-03-04：Jupiter Rising：Annotation
  • 2025-03-04：Jupiter Evolving：Conclusion
  • 2024-09-21：Characterization of LLM Development in the Datacenter：Annotation
• 集合通信 / Collective Communication
  • 2025-12-03：NCCLX：100k+ GPU 如何集合通信？
• 方法论 / Methodology
  • 2025-03-11：Paper Reading：Methods
• 近期研究进展（System for AI / LLM Inference）
  • 推理引擎与调度：以 step() 为切口（nano-vLLM-1），对齐 Scheduler/Runner/KV cache 的职责边界，把 TTFT/TPOT、token budget、并发序列数统一到“约束下的 batch 组合”问题里。
  • 从 Roofline 到并行策略：沿着 All About Rooflines → 硬件（GPU/TPU）→ 分片矩阵乘法 → 训练并行，把“算力/带宽/显存/通信”如何塑造瓶颈的逻辑串成一条主线（The Scaling Book）。
  • DeepSeek / MoE Infra 追踪：聚焦 MoE 负载均衡与通信/算子优化的工程路径（Dive-into-EPLB / DeepEP），并与更宏观的数据中心系统设计做对照（CloudMatrix384-Serving-for-LLM-Annotation）。
  • 下一步：继续推进 nano-vLLM 系列后续章节（Scheduler / KV cache / 多进程协同），并沉淀“推理引擎最小可用实现清单”。

Learn in 2024

🎉我成功上岸啦!!!

• 我的清华计算机考研复习经验： 如何高效备考 11912？
• 我这十多年的学习经验与絮絮叨： 从山西小镇做题家到北雷村再到五道口

今年是懒狗的一年 😢

• 1 月 ~ 3 月：准备复试内容、参加机试与面试、撰写 上岸经验贴 ；
• 4 月 ~ 8 月：开学前的准备
  • 健身减肥计划
  • 阅读《毛泽东选集》
  • 阅读《费曼的物理学讲义》
  • 深入学习现代 Cpp 、Python、Rust
  • 深入学习线性代数和概率论，夯实深度学习的基础
  • 深入学习网络协议
• 9 月 ~ 12 月：研究生理论课程学习+论文阅读找 idea
  • 数值分析
  • 计算机网络体系结构
  • 联邦学习
  • 精读 40 篇论文： Paper Reading Records ，寻找研究方向及 idea

Learn in 2025

• 1 月 ~ 2 月：开展科研工作的前置学习
  • 阅读 DeepSeek 的 Tech Report、
  • 学习 NCCL/MSCCL 库及 GPU 基础知识、
  • 广泛阅读论文，记录在册： Paper Reading Records ；
• 3 月 ~ 5 月：初步开展科研工作
  • 学习 CUDA 编程
  • 保持对 DeepSeek、Kimi、Minimax 等前沿公司的技术的追更
  • 寻找数据中心内路由系统和容错系统的 idea
• 6 月 ~ 9 月：
  • 每周了解一个 LLM/LLM Infra 相关的新知识： LLM-Weekly
  • 搭建路由系统

My CS Career

计算机科学基础

1. 数学基础

   • 数值分析
   • 矩阵分析
   • 离散数学
   • 概率论
   • 信息论

2. 编程语言

   • C++
   • Python
   • Rust

3. 数据结构与算法

   • 清华大学计算机系 邓俊辉老师 的课程： 邓公数据结构笔记
   • AcWing：算法基础课、算法提高课、算法进阶课

4. 操作系统

   • 《操作系统精髓与设计原理 9th》： OS精髓与设计原理读书笔记
   • 《rCore Tutorial Book v3》：

5. 计算机组成原理

   • CSAPP
   • RISC-V： RISC-V简明手册
   • THU 刘卫东老师的PPT ： THU-Computer-Organization

6. 计算机网络

   • 自顶向下第 8 版： Top2down-Summary

7. 软件工程

   • 清华大学软件学院刘强老师： 软件工程

8. GPU 编程

   • OpenCL 编程
   • HIP 编程
   • Triton 编程
   • CUDA 编程

人工智能

1. 机器学习

   • 林轩田老师的课程： 机器学习基石、机器学习技法

2. 深度学习

   • 《动手学深度学习 2nd PyTorch 版》： Dive-Into-DL ；

3. System for AI

4. LLM

5. 强化学习

学术生涯

1. 论文阅读记录：Paper Reading Records
2. 组会汇报记录： Archive of Report Slides
3. 科研周报：

随便捣鼓

1. Linux
   • ArchLinux使用笔记
2. Windows
   • Windows下奇奇怪怪的需求与解决方案

Exploring the Real World

自然科学

社会科学

1. Marx & Engels

   • 梦开始的地方： 共产党宣言

2. Lenin

3. 毛泽东

   • 论持久战

4. 邓小平

   • 中国共产党中央委员会关于建国以来党的若干历史问题的决议

Keep Healthy

About

• 个人介绍
• 如何利用 Obsidian+Quartz+GitHub Pages 构建个人知识管理库及博客分享站 ？
• 通往站外

---

Footnotes

1. 你也可以叫我的笔名“花间有酒醉今人”。 ↩

2. Powered by giscus. ↩