06 / ENGINEERING NOTES
关于 AI、工程系统与组织进化的长期记录。
沿着字符、计算图、因果注意力、交叉熵和 Adam，拆解 Karpathy 的 MicroGPT：一个不依赖深度学习框架的小模型，如何从随机参数走到逐字符生成。
在一台 16GB MacBook Air 上，用 MLX 从头实现 Decoder-only Transformer，并经历 Byte Tokenizer、BPE、Unicode、安全推理和独立评测的三代实验。
