每日论文精读 #004：RLHF的偏好平均化正在制造系统性不公
标准RLHF将不同用户群体的偏好平均化为单一奖励模型，多数群体主导学习而少数群体被系统性忽视，PA-RLHF通过分离偏好模式将公平差距从15.9pp降至9.6pp
论文精读
每日论文精读 #003：多智能体RL训练中的模拟器崩溃——单一用户模拟器为何让策略越训越差
发现多智能体RL中单一冻结LLM模拟器会导致策略过拟合到模拟器的模式行为，提出Verbalized Sampling和Co-Training两种互补解法
每日论文精读 #002：长上下文训练反而削弱模型知识
上下文越长不一定越好——信息丰富的训练上下文会让模型变得’依赖上下文’，削弱参数化知识。
每日论文精读 #001：结构化记忆抑制过度个性化
给AI助手的记忆分个类，就能减少跨领域泄漏和谄媚问题——不改模型、不改记忆内容，只改呈现格式。