“玄知”密码大模型

项目背景

密码学是高度专业、术语密集、推理严谨的领域，通用大模型在密码算法、密码协议、密码工程三大方向上表现薄弱。目标是打造一个既懂密码学专业知识、又保持通用能力的领域大模型，并用一套自建的、可信的评测基准来度量它。

后训练流水线（核心贡献）

① 数据工程（CPT）

• 搜集论文、书籍、标准、网站等多源密码学语料，构建 清洗 → 分块 → 质量打分 → MinHash / BGE 模糊去重 的数据流水线（~5B tokens）。
• CPT 阶段按 领域:通用配比 混合通用语料做 replay，缓解领域继续预训练导致的灾难性遗忘。

② 指令与偏好数据（SFT / DPO）

• 基于高质量 Chunk 经 self-instruct + 强模型改写，构造覆盖三大方向的指令数据集（~10 万条），做指令多样性 / 难度分层与去重。
• 通过强模型打分 + 拒绝采样构造偏好对（~2 万条）用于 DPO。

③ 训练优化

• 基于 LLaMA-Factory 搭建 CPT → SFT → DPO 流水线，结合 LoRA（rank=64）+ DeepSpeed ZeRO-3 完成多卡分布式参数高效训练。
• SFT 阶段对 prompt 做 loss mask（仅在 response 上计 loss） + 样本 packing 提升训练效率；DPO 调 β 平衡对齐强度与能力保持。

④ RL 后训练（GRPO + 可验证奖励）

• 针对 DPO 只能消费静态偏好对、无法在线探索的瓶颈，引入 GRPO 做在线强化：从 CryptoBench 筛出有唯一可判定答案的题目（选择 / 数值 / 可执行验证）构造 规则化可验证奖励（RLVR）。
• 组内多次采样做相对优势估计、去 critic、token 级 loss mask + KL 约束控制偏移；在线 RL 阶段改用专业 RL 框架 verl，在 8×H100 上完成训练。

评测体系（CryptoBench）

• 基于高校试题、StackExchange 等，经 MinHash 去重、强模型构造及 BGE 去重，构建约 2K 道 CryptoBench。
• 多模型投票完成难度分层（25% / 50% / 25%）；训练中以评测集监控各阶段增益、防过拟合，并在通用基准（C-Eval / MMLU）上做能力保持对照。

推理部署

• 基于 vLLM 搭建高性能推理服务并做 API 部署，赋能密码算法、密码协议、密码工程三大方向。

相关技术阅读 · 大模型后训练实战（ByteTech）

围绕本项目「领域大模型后训练全链路」，整理的字节内网大模型训练/微调实战与避坑文章（需 ByteTech 权限访问）。这些也是我做玄知时的方法论参照。

后训练全链路 · 技术选型

• 大模型冷启动、监督微调、基于偏好的对齐技术方案现状
  冷启动（DAPT / 合成数据 / PEFT-LoRA / RAG）→ SFT →偏好对齐（DPO / KTO / GRPO）的完整选型——与玄知 CPT→SFT→DPO→GRPO 全链路对应。
• SFT 记忆，RL 泛化，如何将两者的优势整合
  SFT-then-RL 范式为何有时不如纯 SFT / 纯 RL，垂域后训练里 SFT 与 RL 更合理的结合方式——直接对应玄知 SFT→GRPO 的衔接决策。

GRPO / 强化学习实战

• DeepSeek-R1 模型及 GRPO 算法学习
  GRPO 组内相对优势、去 critic 的原理与 R1 的训练范式。
• 从零实现 REINFORCE / GRPO —— 大模型推理强化微调实践
  从 REINFORCE 到 GRPO 的动手实现，理解 advantage、KL、loss 的工程细节。
• LLM-as-a-Judge 在 GRPO 中的应用
  用裁判模型产出 reward 信号——与玄知可验证奖励、我的评测经验直接呼应。
• DAPO 强化学习算法浅析
  GRPO 的改进变体，理解后训练 RL 的前沿演进。

数据工程 · 微调经验 · 避坑

• 专题分享：大模型数据工程技术点
  数据清洗 / 去重 / 配比等工程要点——对应玄知 ~5B tokens 语料流水线。
• 什么是高质量的数据？
  高质量训练数据的判定标准——SFT / 偏好数据构造的核心。
• 一个外行的大模型微调心得
  微调实战的踩坑与经验（4.5k 阅读）。
• SFT vs RL：记忆与泛化的取舍 —— 见上「后训练全链路」，是垂域后训练最关键的判断。

密码学领域背景（故事线，非考点）

• 系统安全串讲 · 密码学基础与应用 —— 玄知覆盖的密码算法 / 协议 / 工程领域背景。