本地语言模型编程能力评测2 Bonsai vs Strata
技术评论本次使用的模型:Strata 为 Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S,Bonsai 为 Ternary-Bonsai-2-27B-PQ2_0.gguf。
本次 coding 任务,Strata 三轮累计 83.96 分钟,通过独立验收;Bonsai 四轮累计 328.50 分钟,仍需修改。
差距主要在工程闭环:Strata 能根据反馈修正并完成真实运行;Bonsai 反复遗漏已指出的问题,43 项测试通过后仍有 8 项验收问题。测试通过,还要能真实运行、完成交付。
这是单次任务观察。计时仅为 Pi 进程墙钟,不含人工准备、数据修复、等待和独立验收;Strata 最后一轮使用了 Codex 修复的输入。


工作模式是用 Codinator 做 Codex 和本地模型之间的 harness 工具。
留言
登录 GitHub 后即可留言。中英文版本共用此讨论区。