近期开发者社区热议“为什么 AI 生成的代码和日志中频繁出现 Emoji”这一现象。其核心原因主要有三点：首先是 RLHF（人类反馈强化学习）的影响，大模型在微调阶段被训练得倾向于输出更友好、生动的交互内容；其次是训练数据源的污染，GitHub 上大量现代开源项目（尤其是前端和 CLI 工具）广泛使用 Emoji，被模型深度学习；最后是视觉锚点效应，AI 认为 🚀、❌、✅ 等符号能帮助开发者在终端日志中快速定位信息。尽管这提升了个人项目的调试体验，但在企业级开发中，过多的 Emoji 可能显得不够严肃，甚至在某些旧版终端或日志收集系统（如 ELK）中引发字符编码兼容性问题。开发者可通过在 System Prompt 中显式加入限制规则来规范 AI 的日志输出格式。
该项目旨在单张 RTX 3090 显卡上，复现 OpenAI 关于“持久有益模型”（Persistently Beneficial Models）的研究。在测试对齐特征的持久性之前，开发者需要先通过强化学习（RL）在模型中“注入”特定行为特征。然而，在使用当前热门的 GRPO（群组相对策略优化）算法进行训练时遭遇瓶颈：特征得分仅提升了 2.4 分（95% 置信区间为 [+0.2, +4.8]），而达到预期效果需要提升约 15 分。尽管排除了代码和工程层面的明显问题，训练依然无法有效注入特征。这一尝试对于希望在消费级硬件上进行低成本 RLHF/GRPO 微调的开发者具有重要参考价值，暴露了小规模强化学习在奖励设计和超参数微调上的实际挑战，也引发了社区关于如何优化轻量级对齐训练的讨论。
现有的RLHF和监督微调（SFT）常导致大语言模型（LLM）产生独特的“AI腔”（如过度使用特定词汇、句式冗长、语气过于机械）。本文探讨了通过“分布微调”（Distribution Fine Tuning）来修复这一问题的方法。该技术的核心在于，不仅让模型学习单字预测，更侧重于将模型的输出概率分布与高质量人类写作的特征分布进行对齐。具体而言，它通过调整词频分布、句子长度变异性以及文风特征，使生成文本在统计学上更接近自然人类写作。这一技术突破对于开发AI写作助手、内容生成工具的创业者具有重要价值，能有效消除“机器感”，提升内容可读性，并降低被AI检测器识别的概率，为应用层创新提供了更自然的文本生成底座。