Newthors · 余华小说生成器
YuHua Novel Generator
MiniMind 从零训练 · 三架构对比
基于 MiniMind(104M)从零预训练的余华风格中文小说生成器:13 册全集 18793 段纯文本预训练 + CoT 约束 SFT,AR / dLM / Linear 三架构对比实验,V2 通过率 Linear 100% / AR 86%,且无具名人物泄漏。
用余华 13 册全集语料,从零预训练出「白描克制」的小说模型
AR / dLM / Linear 同语料同题对比
在同一套余华语料上分别用自回归(Softmax Attention)、扩散语言模型(A2D + MDM)、线性注意力(Gated DeltaNet)训练,公开三架构评测结果:Linear V2 100% 通过率最优,AR 86%,dLM 16%。
只用泛指人物,白描克制不抒情
SFT 采用 CoT v2 通用题面 + system prompt 三重约束:只用泛指人物(他/她/父亲/母亲…)、不引用特定作品、白描克制;数据侧过滤 2222 段含具名人物的段落,防止模型「背书名」。
13 册全集 → 18793 段纯文本
从余华 13 册 epub 解析 20952 段,去对话模板得到 18793 段 pretrain 语料,并构建 826 条 CoT v2 指令集;数据、样本与脚本全部随仓库公开。
个人开源项目
免费使用,由作者个人开发与维护
免费
持续迭代中
功能与模型随博客更新而演进
建设中