搜索面试经历、知识题和 Coding 题。
至少输入两个字符。结果覆盖知识库、面试、Coding、公司和主题。
为具身智能面试中反复出现的概念提供标准答案。
当前主题：distributed-training
共 2 个问题
数据并行复制模型只切 batch，张量并行切开单个算子，流水并行按层分段，ZeRO/FSDP 对参数、梯度、优化器状态分片。
训练侧靠混合精度、梯度检查点、ZeRO 分片、梯度累积和 8-bit 优化器；推理侧靠 KV Cache 量化/分页、权重量化和小头部署。