详细描述，如果给一个txt存储的文本，从预处理到SFT的训练流程，要包括对数据的预处理、tokenize、forward、loss计算、参数更新，越细越好
尚未关联知识库答案
字节跳动 Seed
12月面了字节seed，分享分享 1️⃣简短的自我介绍 2️⃣基础知识问答——八股 1. 详细描述，如果给一个txt存储的文本，从预处理到SFT的训练流程，要包括对数据的预处理、tokenize、forward、loss计算、参数更新，越细越好 2. tokenizer怎么做的，有哪些tokenizer的实现方式 3. embedding怎么做的，从id到embedding有哪些实现方式 4. transformer八股 transformer的forward计算包含哪些部件 如何解决梯度消失和梯度爆炸的 非线性由什么来提供 3️⃣项目经历 1. 介绍自己最熟悉的一个项目，项目中做了什么 2. 一些对项目细节的提问 3. 这个项目的意义 4. 后续打算做什么 4️⃣手撕：用numpy，写MHA 5️⃣反问环节 听说字节seed进面门槛是2A，随意从内推网投递属实是没想到自己能进面，匆忙准备，甚至没背八股，猝不及防了🏳️
第 1 轮
详细描述，如果给一个txt存储的文本，从预处理到SFT的训练流程，要包括对数据的预处理、tokenize、forward、loss计算、参数更新，越细越好
tokenizer怎么做的，有哪些tokenizer的实现方式
embedding怎么做的，从id到embedding有哪些实现方式
transformer八股 transformer的forward计算包含哪些部件 如何解决梯度消失和梯度爆炸的 非线性由什么来提供 3项目经历
介绍自己最熟悉的一个项目，项目中做了什么
根据公司、岗位、季节和元数据确定性匹配。
一些对项目细节的提问
这个项目的意义