import torch
from model import MiniMindForCausalLM, MiniMindConfig
# 26M params - 从零开始训练
config = MiniMindConfig(
hidden_size=512,
num_hidden_layers=8,
num_attention_heads=8,
num_key_value_heads=2, # GQA
vocab_size=6400,
)
model = MiniMindForCausalLM(config)
optimizer = torch.optim.AdamW(model.parameters(), lr=5e-4)
# 预训练循环
for epoch in range(epochs):
for batch in dataloader:
loss = model(
input_ids=batch["input_ids"],
labels=batch["labels"],
).loss
loss.backward()
optimizer.step()
optimizer.zero_grad()
print("练习时长两年半，模型训练完成!")完整链路
# ikun-tokenizer
from tokenizers import Tokenizer
tokenizer = Tokenizer(BPE())
tokenizer.train(files, trainer)
# ikun-pretrain
model = MiniMindForCausalLM(config)
for batch in dataloader:
loss = model(input_ids, labels=labels).loss
loss.backward()
optimizer.step()每个项目都从零手写，完整可复现
练习时长两年半的 AI 大模型（实际 26M，2.5B = 两年半）
→
练习生的 AI 基础功课，小白也能听懂
→
从零训练 BPE 分词器，理解 subword 原理
→
从零预训练语言模型，单卡 / DDP 多卡
→
偏好对齐训练 Direct Preference Optimization
→
强化学习对齐 Group Relative Policy Optimization
→
推理模型训练，结构化思维链 chain-of-thought
→
混合专家模型 Mixture of Experts
→
知识蒸馏 Knowledge Distillation
→
多模态视觉语言模型 Vision-Language Model
→
模型部署 API / Web / ollama / vllm
→
IKUN 表情包大全，斗图必备
→
鸡乐盒 Jilehe - 仅供娱乐
→
快来领养一只自己的桌面小坤坤
→
Vue3 + Vite 打造的 ikun 组件库
→来自全球 ikun 的真实评价
“ikun 的代码写得比我打篮球还丝滑”
“自从用了 ikun-2.5B，我的模型也学会了唱跳 Rap”
“练习时长两年半，终于把 Transformer 搞懂了”
“ikun-GRPO 的实现比 DeepSeek 论文还好读，太感动了”
“在鸡乐盒里找到了人生的意义”
“26M 参数就能对话，比我的篮球技术还高效”
“ikun-tokenizer 让我理解了为什么 LLM 不会打篮球”
“ikun 的代码写得比我打篮球还丝滑”
“自从用了 ikun-2.5B，我的模型也学会了唱跳 Rap”
“练习时长两年半，终于把 Transformer 搞懂了”
“ikun-GRPO 的实现比 DeepSeek 论文还好读，太感动了”
“在鸡乐盒里找到了人生的意义”
“26M 参数就能对话，比我的篮球技术还高效”
“ikun-tokenizer 让我理解了为什么 LLM 不会打篮球”
“用 ikun-V 给坤坤照片做了图文理解，它说：鸡你太美”
“DPO 对齐之后，模型终于学会了只说好听的话”
“ikun-MoE 的路由策略比我选外卖还智能”
“三块钱训了个大模型，比我买奶茶还便宜”
“ikun-deploy 一键部署，比我投三分球还准”
“从零手写代码的快乐，只有 ikun 能懂”
“看完 ikun-basics 才知道，原来 AI 也需要练习两年半”
“用 ikun-V 给坤坤照片做了图文理解，它说：鸡你太美”
“DPO 对齐之后，模型终于学会了只说好听的话”
“ikun-MoE 的路由策略比我选外卖还智能”
“三块钱训了个大模型，比我买奶茶还便宜”
“ikun-deploy 一键部署，比我投三分球还准”
“从零手写代码的快乐，只有 ikun 能懂”
“看完 ikun-basics 才知道，原来 AI 也需要练习两年半”
“用 ikun-V 给坤坤照片做了图文理解，它说：鸡你太美”
“DPO 对齐之后，模型终于学会了只说好听的话”
“ikun-MoE 的路由策略比我选外卖还智能”
“三块钱训了个大模型，比我买奶茶还便宜”
“ikun-deploy 一键部署，比我投三分球还准”
“从零手写代码的快乐，只有 ikun 能懂”
“看完 ikun-basics 才知道，原来 AI 也需要练习两年半”
大道至简，从零出发，和全球 ikun 一起练习
拒绝黑盒，每一行代码都从零手写，PyTorch 原生实现，无第三方训练抽象。你看到的就是全部，不藏一行 magic。
从 Tokenizer 到部署，覆盖 LLM 训练全链路，每个环节独立成库。预训练、SFT、DPO、GRPO、MoE、蒸馏、推理、多模态、部署一应俱全。
20+ 开源仓库，活跃的 ikun 社区。HuggingFace 模型一站式获取，Bilibili 视频教程同步更新，微信群实时交流。