🔴 国内外大模型动态
1empero-ai/Qwen3.8-35B-A3B-Distill-GGUF⭐7
Qwen3.8-35B-A3B 的社区蒸馏版 GGUF 量化发布,一周下载 6.5 万、117 赞。如果星竹想在本地 llama.cpp / Ollama 环境跑一个中等规模的 MoE 蒸馏模型,这是目前热度最高的选择之一,直接拉 GGUF 即用,省去自己量化蒸馏的功夫。
2Comfy-Org/Qwen-Image-2.1⭐6
通义 Qwen-Image-2.1 官方权重上架 ComfyUI 生态,下载已破 53 万。看这条的价值:如果星竹在用 ComfyUI 做图像生成流水线,2.1 版单文件可直接替换工作流里的旧底模,是低成本升级画质的入口。
3HauhauCS/Qwen3.8-27B-Uncensored-Aggressive-MTP-GGUF⭐6
下载 207 万、1342 赞的现象级社区改版:Qwen3.8-27B 去审查 + Aggressive MTP(多 token 预测)+ 多模态视觉。看点不在"uncensored"本身,而在 MTP 技术被社区大规模验证能显著提升 GGUF 推理吞吐——这对星竹关注本地推理性能有直接参考意义。
4abenzerps/Qwen-Image-2.1-GGUF⭐5
Qwen-Image-2.1 的 GGUF 量化版本,588 赞。意义在于:图像生成模型也能走 llama.cpp 量化路线,低显存机器跑 Q4/Q8 的图像模型成为可能,是端侧文生图的一个信号。
🔴 训练与对齐
5Geometry of Values: Task Vector Composition for Ethical Preference Alignment in Language Models⭐5
微软团队(Agarwal & Choudhury)研究如何用任务向量(task vector)几何组合的方式对齐模型的伦理偏好,而不重训模型。对星竹的价值:如果要做"可调节价值观强度"的模型行为控制,这篇给出了向量空间层面的轻量方案,比 RLHF/DPO 便宜得多。论文构建了 12,000 条两难困境数据集,覆盖三组价值观的两两冲突,并展示向量组合可以按指定比例混合不同价值倾向。
🔴 推理优化
6incoai/splash⭐5
面向 Apple Silicon 的本地推理引擎,552 星,主打围绕模型特性做 speculative decoding 加速。对星竹的价值:如果手头有 Mac(M 系列芯片),这是一个比 llama.cpp 更"贴硬件"的备选引擎,可对比测试 MTP/投机解码在自家场景的实际加速比。