CapKnow:能力知识空间证书实验室

研究探索

本项目研究一个受控问题:如果系统的能力状态具有结构,能否只观察少量任务响应,便识别其完整能力状态,并给出可复现、可验证的 capability certificate(能力证书)?

当前项目是小规模、可枚举、人工定义结构的研究实验室。Phase 2–7 已形成经过独立审查的确定性、概率性与结构压缩证据;Phase 8 的 Toy LM 可行性门槛失败并按有效负结果停止;Phase 9 目前仅有已提交的协议提案,尚未实现或实验验证。项目没有真实或开放 LLM 的验证结果。

代码库:CapKnow

研究对象

设任务全集为 \(Q\),一个能力状态为 \(K\subseteq Q\),允许的状态总体为 \(\mathcal K\subseteq 2^Q\)。任务响应 \(Y(K,q)\) 将潜在状态映射为可观察行为。

  • Task:可执行或可观察的探针。
  • KnowledgeState:候选能力配置。
  • KnowledgeSpace:允许状态及其结构约束。
  • response signature:一个状态在全部或部分任务上的响应向量。
  • fixed certificate:对所有对象询问同一任务子集,仍能区分全部候选状态。
  • adaptive certificate:根据先前回答继续选题,以决策树叶节点唯一识别状态。

研究遵循“先验证可识别性,再讨论低成本证书”的顺序。若不同状态在完整任务集上仍产生相同 signature,固定或自适应 certificate 都无法唯一恢复状态。噪声条件下,目标则转为在给定响应模型与先验下进行后验推断。

当前阶段与证据状态

阶段 研究内容 当前结论
Phase 1 knowledge space、状态校验与确定性响应 已建立 chain、tree、unstructured 世界及基础模拟器
Phase 2 full-information identifiability 三个标准世界可识别;人工构造的完整向量 collision 可被审计器发现
Phase 3 exact fixed certificate chain/tree/unstructured 的最小规模分别为 4/4/3,均需要全部任务
Phase 4 adaptive certificate 状态等权时,chain/tree 平均深度低于固定规模;unstructured 无同样优势
Phase 5 noisy probabilistic inference Bayesian fixed/adaptive 推断闭环与零噪声一致性已验证;尚无普遍优劣结论
Phase 6 executable DSL bridge primitive、组合和 held-out 组合具有确定执行语义;规则仍由人工定义
Phase 7 structural compressibility block world 中固定压缩成立;prefix family 在测试网格上还有自适应平均节省
Phase 8 Toy LM feasibility 11/24 单元通过,正式结果为 FAILED/stopped;无模型 selection、无 010D
Phase 9 decomposed learned-behavior bridge 已提交协议提案;尚未实现、运行或形成实验 artifact

留言

登录 GitHub 后即可留言。中英文版本共用此讨论区。