Civilization Museum
The Dark Forest
目录
0%
摘要
1 引言
1.1 研究背景
1.2 本文目标
2 方法（Approach）
2.1 预训练数据（Pre-training Data）
2.1.1 数据源及预处理
2.1.2 Tokenizer（分词器）
2.2 架构（Architecture）
前归一化（Pre-normalization）：受 GPT3 启发
SwiGLU 激活函数：受 PaLM 启发
旋转嵌入（Rotary Embeddings）：受 GPTNeo 启发
2.3 优化器（Optimizer）
AdamW优化器
cosine 与 warmup
2.4 高效实现（Efficient implementation）：提高训练速度
2.4.1 kv cache
2.5 解码策略
候选token
采样率
3 主要结果（Main results）
3.1 常识推理（Common Sense Reasoning）
3.2 闭卷问答（Closed-book Question Answering）
3.3 阅读理解（Reading Comprehension）
3.4 数学推理（Mathematical reasoning）
3.5 代码生成（Code generation）
3.6 大规模多任务语言理解（Massive Multitask Language Understanding）
3.7 训练过程中性能的变化
4 指令微调（Instruction Finetuning）
5 偏见、有害性、错误信息
5.1 RealToxicityPrompts
5.2 CrowS-Pairs
5.3 WinoGender
5.4 TruthfulQA
6 碳足迹（Carbon footprint）
7 相关工作（Related work）
7.1 架构
7.2 缩放
8 总结
0%