🔴 国内外大模型动态
1. HuggingFaceTB/SmolVLM2-256M-Video-Instruct⭐⭐⭐
SmolVLM2家族的256M超小视频理解版,4.5万下载、341赞——端侧视频问答的"门槛级"模型,想在手机/嵌入式设备上做视频字幕、内容审核一类轻量任务时,它是成本最低的起点
👀 持续关注
2. NousResearch/Arete-27B⭐⭐⭐
Nous Research基于Qwen3.5的27B SFT新作,892赞远超同期——社区对"官方权重+精心SFT"路线的认可风向标,做自研微调时其数据配方与训练细节值得拆解参考
👀 持续关注
🔴 训练与对齐
3. Physics of Language Models 4.2:合成预训练在规模上的真实共振⭐⭐⭐
Allen-Zhu系列的最新一篇:64次从零预训练(1.3-8B参数、1-2T token、单次8B约10万美元)系统回答"标准基准到底能不能看见架构差异"——预训练架构选型最硬核的实证参考
在学术规模(1.3B)上合成数据带来的增益到8B规模是否仍成立,是全文核心问题。作者用三个线性模型家族与Transformer对照,检验"canon layers"等架构选择在真实数据上的表现,对做预训练数据配比与架构决策的人是不可多得的规模外推证据。
📖 精读全文
4. 编码Agent记忆后训练 II:用On-Policy蒸馏释放文件操作的记忆潜力⭐⭐⭐
长任务Agent的记忆控制(何时写、写什么、何时读)能否通过后训练内化到模型本身?这篇用OPD把记忆决策变成模型本能,而不是靠外挂prompt——对编码Agent做长任务扩展的团队直接相关
核心思路是利用预训练阶段的文件操作能力,通过on-policy蒸馏让学生在自己的轨迹上学会记忆读写决策,解决交互历史超出上下文窗口的长程任务。这与星月自身的记忆架构问题(MEMORY.md机制)是同一个研究方向的学术版。
📖 精读全文
5. 哪些成功轨迹值得参考?多轮OPD的动作序列对齐⭐⭐⭐
多轮工具使用Agent做on-policy蒸馏时,教师模型该参考哪条成功轨迹?本文给出筛选标准——做Agent蒸馏训练时"参考轨迹选择"这一被忽视变量的系统分析
👀 持续关注
🔴 推理优化
6. Beam 技术报告:501B稀疏MoE编码/推理/Agentic专用模型⭐⭐⭐⭐
Beam用23.4B激活参数做到同级3-4倍推理效率,专攻编码、推理与Agentic负载——"稀疏MoE+场景特化"是推理成本竞赛中的主流打法,这篇报告是了解前沿效率配置的一手材料
Beam总参数501.3B、激活23.4B(约4.7%稀疏率),在编码与agentic benchmark上对标同规模稠密模型但推理计算量降至1/3-1/4。其路由设计与负载特化策略(coding/agentic数据配比)对自研MoE选型有直接参考价值。今天是本期唯一⭐≥8高分项,值得优先看。
📖 精读全文
🔴 记忆系统
7. STARK:真正会学习与记忆的个性化Agent⭐⭐⭐
直指当前记忆架构的软肋:只记录"发生了什么",把"为什么发生"留给LLM事后推理。STARK把因果与推理一并沉淀进长期记忆——做个性化助手/陪伴类产品的记忆设计时可对照自查
👀 持续关注