Files

T

qiaoqichaoandClaude Code d56c699ce6 chore(v2): 从兴邦预审v2白名单抽取独立可运行基座

按 docs/v2/05-implementation-plan.md §1 候选迁移表与 claude_use/T00 白名单，
从 55e2cdb 抽取 224 个文件（2.48 MB）到独立目录 F:/mini-OpenClaw-v2。

- 排除：凭据(.env/server-deploy.conf/旧DELIVERY.md)、运行数据(xingbang_data 等
  4 个 SQLite)、依赖(venv/node_modules 符号链接)、归档(_backup*/test-evidence/
  ori_file)、Office 临时文件
- 目标目录独立 git 仓库，初始恢复点；Gitea 远程与分支待 OQ-06 Q2 定案
- 未部署、未启动服务、未调用模型

Co-Authored-By: Claude Code <noreply@anthropic.com>

2026-09-29 12:58:26 +08:00

7.7 KiB

Raw Blame History

兴邦 v2 验证与质量门

状态：新版验证计划；以下 AC 测试为待实现，不能以旧版测试通过替代。

1. 可追溯测试矩阵

用例组	规格 AC	层级 / 断言
材料确认与历史时间线	AC-01/02	单测/集成：未确认不入事实；未知时间不补造；解析失败保留原件
经验审核、检索与版本	AC-03/04/13	权限/集成：无资格、不适用、过期、撤回、异域不可应用；旧版本可追溯
主审与硬约束	AC-05/06/07	有冲突和缺证的固定样例：单题正面不覆盖硬规则，缺数据不判高风险
证据真实性边界	AC-08	伪造 ID、跨项目、无权片段被拒；有引用不等于真实性已证实
专项模型降级	AC-09/16	mock：未配置、超时、畸形响应、未批准出口；零伪造判断、零未授权发送
提供方切换与契约	AC-17/18/19/20/21	单测/集成：无 Jev Key 的 local、disabled、畸形答案、题型缺失、配置冻结、无自动跨提供方回退；调用 spy 核验实际发送目标
Agent 工具与预算	AC-10	注入材料无法调用 terminal/任意SQL；预算耗尽确实停止
模拟隔离	AC-11	真实快照哈希/数据库记录前后不变；关联改进不可简单相加
概率门禁	AC-12	UI/API/导出均无未经校准概率；Noul、Score不转审批率
幂等与并发	AC-14	同键同载荷只一条运行；同键异载荷409；Worker重启不重复落库
盲测	AC-15	预测先锁定，标签后揭示；同项目不跨开发/验收集；泄漏样本作废

2. 工程验证顺序

使用 backend/venv，先运行本批相关 unittest 与 UI 检查，再运行根目录的 backend/venv/Scripts/python.exe scripts/verify.py。Linux 对应 backend/venv/bin/python。命令、cwd、revision、fixture 和完整日志保存在 test-evidence。

现有 verify.py 实际包含：git diff、全部 backend unittest、四项 UI 源码守卫、Next.js build、本地/云端 Compose config；这些 UI 脚本不等于真实浏览器 E2E。--docker 会构建并启动本地 Compose，有端口与停止副作用，不能在与旧版冲突的资源上随意运行。

文档任务运行链接、编号覆盖、文件来源、格式检查。GitHub workflow 文件存在不代表 Gitea CI 已执行；远程检查未观测记 Unobserved。

3. 业务验证设计

同一批材料按版本冻结比较：A=现有助手；B=主审+历史经验；C-local=B+本地专项模型；有 Key 且获准时加入 C-Jev=B+Jev。对照回答“经验有没有帮助”和“所选专项模型有没有额外收益”，不把两项改进混成一个原因。先用合成反例暴露故障，再用客户持有的脱敏保留集检验。

样本包含通过、退回、否决、附条件通过、资料不全及意见分歧。按项目分组、按预测时间截断，只使用当时已取得的材料；区分首次提交通过和补件后最终通过。开发集不能看到保留集答案，也不能通过完整历史报告间接泄漏目标答案。

指标	计算口径	限制
重大问题漏检	专家标注重大问题中未识别数 / 专家标注总数	先定义重大问题；无标注不计算
无依据结论	复核为无依据的实质判断 / 被复核判断	引用存在但不支持也算无依据
误报	被专家认定不成立的问题 / 系统提出问题	专家分歧单列
有效补件	解决预定争议的补件 / 已完成补件	不把补件数量当质量
一致性	与参考意见一致的项目 / 可比较项目	不等于正确率；分歧要复核
效率与成本	相同边界下的人工耗时、端到端耗时、调用成本	同时检查重大问题漏检，不能只追求快

分母为0返回 not_applicable，不填0%。指标验收阈值在盲测前与兴邦锁定（OQ-04），不能看结果后调线。少量案例用于可行性和故障发现，不支持总体准确率宣传。

4. 概率后续门禁

定义审批事件、预测时点、样本纳入范围和制度时期；只观察已送审项目会有选择偏差。独立保留时间段测试校准情况，记录 Brier/校准曲线等指标并说明不确定性；通过概率不代表投放后无违约。具体样本量、模型选择和阈值另立规格，不在无数据时承诺。

动作模拟的分数变化属于模型条件判断，不能直接当作措施造成通过率提升的因果结论。

5. 失败和发布门

失败→复现→定位→最小修复→同一检查复验，完整记录。未解决故障不得发布镜像。仅保存源码恢复快照不等同发布，快照注明验证状态。

人工评审按正确性、一致性、安全、测试四维；未经独立评审不标通过。线上效果须在真实交付环境观测，本地测试不能替代。

6. 提供方效果与可用性分别验收

同一冻结题库、证据和专家标签验证 Jev/local 的业务含义与结构契约，不要求逐题答案或数值相同。分别统计错误、漏检、拒答/unknown、耗时及成本；模型不支持的题型也计入未完成项，不能从分母偷偷排除。阈值和映射按提供方/模型/题型独立登记，先定再测。

local 集成须在没有 Jev 凭据的环境实际执行，并验证未发送 Jev 请求；本地模型服务本身的授权配置另行处理。Jev live 无凭据则明确跳过，fixture 通过仅证明适配代码结构。两者未真实执行前，当前文档一律不宣称切换功能可用。

7. 三模块增量验收矩阵（0.2，待实现）

检查领域	AC	必须观察的行为
会议目标/结果对齐	AC-22/33	结果代码保留；退出不当否决；未知快照和后期结果不倒填初始标签；更正追加
多源导入与冲突	AC-23/24	文件部分失败、容量/格式、表格定位/单位、未确认事实和重复导入隔离
人工/历史卡片	AC-25/26/27/42/43	来源谱系、临时要求不持久化、硬规则资格、统一治理、发布版本不可变、去色可识别
方案与动态维度	AC-28/29/44	无Tools配置入口；依赖权限/有效性；维度冲突；0/2/6/9维与异刻度列表不遗漏
沙盘与概率状态	AC-30/31	API/UI/导出域隔离、最新选择匹配、失败保基线、互斥动作、组合不简单相加
轨迹与建议边界	AC-32/45	完整run/多step关联、失败保留、引用授权、成本unknown、不伪造隐藏推理、不自动关闭项目
改进与独立判断	AC-34/41	自评分非真值；固定对照；未评测/自批/退化均不能发布；发布幂等与旧版可读
合成数据与隔离	AC-35/36	seed可复现、多类结果、划分先于提炼、关联客户/项目与近重复无交叉、衍生Skill不泄漏
业务目标指标	AC-37	高预测组通过分子/已观察分母、覆盖率、未观察数同时报告；空分母为不适用
本地模型准入	AC-38/39/40	每任务/用途验收、冻结checkpoint、否定/例外反例、超长拒绝而非截断、禁止静默路由

数据集划分必须早于检索库、经验/Skill提炼和模型调参；开发、校准、测试分开。真实评测的分母与未送审选择偏差单列，不能把只在已评审项目上的通过率推广给所有早期线索。

T08报告四层结果：契约fixture、真实本地连通、中文专项效果、运行用途准入。可连通但效果差时报告失败，disabled路径仍可运行。mock与模拟专家标签不能代替独立专家标注。模型更新对既有护栏有回归时不能发布。

文档验证只检查编号/链接/事实/格式及源代码未变；本轮不运行未实现的新功能测试，也不重跑与纯文档无关的全量构建。行为实现时统一verify要求不变。

7.7 KiB Raw Blame History