从零手写大模型核心组件：基础算子、注意力变体、架构模块、训练与解码策略，覆盖 LLM 面试中最常考的 PyTorch 实现。
共 26 道题 · 已解决 0 道
实现 ReLU 激活函数
实现 GELU 激活函数
实现数值稳定的交叉熵损失
实现 Embedding 查表
实现 Linear 层前向传播
实现 BatchNorm 前向传播（训练模式）
实现 Conv2d 前向传播
实现 Inverted Dropout（给定 mask）
线性回归：手写梯度下降
手写 Adam 优化器单步更新
实现 Cosine 学习率调度
实现全局范数梯度裁剪
实现梯度累积
实现分组查询注意力（GQA）
实现滑动窗口注意力
实现线性注意力（核函数版）
实现因果自注意力（Flash Attention 数值版）
实现 LoRA 低秩适配层
实现 ViT 图像分块嵌入
实现 GPT-2 Transformer Block（简化版）
实现 Mixture of Experts 层（top-k 路由）
实现 Beam Search 解码
实现 Top-p（Nucleus）采样过滤
实现 BPE 分词器编码
实现 INT8 对称量化（per-tensor）
实现 DPO 损失函数