CapKnow:能力知识空间证书实验室
研究探索本项目研究一个受控问题:如果系统的能力状态具有结构,能否只观察少量任务响应,便识别其完整能力状态,并给出可复现、可验证的 capability certificate(能力证书)?
当前项目是小规模、可枚举、人工定义结构的研究实验室。Phase 2–7 已形成经过独立审查的确定性、概率性与结构压缩证据;Phase 8 的 Toy LM 可行性门槛失败并按有效负结果停止;Phase 9 目前仅有已提交的协议提案,尚未实现或实验验证。项目没有真实或开放 LLM 的验证结果。
代码库:CapKnow
研究对象
设任务全集为 \(Q\),一个能力状态为 \(K\subseteq Q\),允许的状态总体为 \(\mathcal K\subseteq 2^Q\)。任务响应 \(Y(K,q)\) 将潜在状态映射为可观察行为。
Task:可执行或可观察的探针。KnowledgeState:候选能力配置。KnowledgeSpace:允许状态及其结构约束。- response signature:一个状态在全部或部分任务上的响应向量。
- fixed certificate:对所有对象询问同一任务子集,仍能区分全部候选状态。
- adaptive certificate:根据先前回答继续选题,以决策树叶节点唯一识别状态。
研究遵循“先验证可识别性,再讨论低成本证书”的顺序。若不同状态在完整任务集上仍产生相同 signature,固定或自适应 certificate 都无法唯一恢复状态。噪声条件下,目标则转为在给定响应模型与先验下进行后验推断。
当前阶段与证据状态
| 阶段 | 研究内容 | 当前结论 |
|---|---|---|
| Phase 1 | knowledge space、状态校验与确定性响应 | 已建立 chain、tree、unstructured 世界及基础模拟器 |
| Phase 2 | full-information identifiability | 三个标准世界可识别;人工构造的完整向量 collision 可被审计器发现 |
| Phase 3 | exact fixed certificate | chain/tree/unstructured 的最小规模分别为 4/4/3,均需要全部任务 |
| Phase 4 | adaptive certificate | 状态等权时,chain/tree 平均深度低于固定规模;unstructured 无同样优势 |
| Phase 5 | noisy probabilistic inference | Bayesian fixed/adaptive 推断闭环与零噪声一致性已验证;尚无普遍优劣结论 |
| Phase 6 | executable DSL bridge | primitive、组合和 held-out 组合具有确定执行语义;规则仍由人工定义 |
| Phase 7 | structural compressibility | block world 中固定压缩成立;prefix family 在测试网格上还有自适应平均节省 |
| Phase 8 | Toy LM feasibility | 11/24 单元通过,正式结果为 FAILED/stopped;无模型 selection、无 010D |
| Phase 9 | decomposed learned-behavior bridge | 已提交协议提案;尚未实现、运行或形成实验 artifact |
留言
登录 GitHub 后即可留言。中英文版本共用此讨论区。