This commit is contained in:
@@ -60,3 +60,24 @@
|
||||
同一冻结题库、证据和专家标签验证 Jev/local 的业务含义与结构契约,不要求逐题答案或数值相同。分别统计错误、漏检、拒答/unknown、耗时及成本;模型不支持的题型也计入未完成项,不能从分母偷偷排除。阈值和映射按提供方/模型/题型独立登记,先定再测。
|
||||
|
||||
local 集成须在没有 Jev 凭据的环境实际执行,并验证未发送 Jev 请求;本地模型服务本身的授权配置另行处理。Jev live 无凭据则明确跳过,fixture 通过仅证明适配代码结构。两者未真实执行前,当前文档一律不宣称切换功能可用。
|
||||
|
||||
## 7. 三模块增量验收矩阵(0.2,待实现)
|
||||
|
||||
| 检查领域 | AC | 必须观察的行为 |
|
||||
|---|---|---|
|
||||
| 会议目标/结果对齐 | AC-22/33 | 结果代码保留;退出不当否决;未知快照和后期结果不倒填初始标签;更正追加 |
|
||||
| 多源导入与冲突 | AC-23/24 | 文件部分失败、容量/格式、表格定位/单位、未确认事实和重复导入隔离 |
|
||||
| 人工/历史卡片 | AC-25/26/27/42/43 | 来源谱系、临时要求不持久化、硬规则资格、统一治理、发布版本不可变、去色可识别 |
|
||||
| 方案与动态维度 | AC-28/29/44 | 无Tools配置入口;依赖权限/有效性;维度冲突;0/2/6/9维与异刻度列表不遗漏 |
|
||||
| 沙盘与概率状态 | AC-30/31 | API/UI/导出域隔离、最新选择匹配、失败保基线、互斥动作、组合不简单相加 |
|
||||
| 轨迹与建议边界 | AC-32/45 | 完整run/多step关联、失败保留、引用授权、成本unknown、不伪造隐藏推理、不自动关闭项目 |
|
||||
| 改进与独立判断 | AC-34/41 | 自评分非真值;固定对照;未评测/自批/退化均不能发布;发布幂等与旧版可读 |
|
||||
| 合成数据与隔离 | AC-35/36 | seed可复现、多类结果、划分先于提炼、关联客户/项目与近重复无交叉、衍生Skill不泄漏 |
|
||||
| 业务目标指标 | AC-37 | 高预测组通过分子/已观察分母、覆盖率、未观察数同时报告;空分母为不适用 |
|
||||
| 本地模型准入 | AC-38/39/40 | 每任务/用途验收、冻结checkpoint、否定/例外反例、超长拒绝而非截断、禁止静默路由 |
|
||||
|
||||
数据集划分必须早于检索库、经验/Skill提炼和模型调参;开发、校准、测试分开。真实评测的分母与未送审选择偏差单列,不能把只在已评审项目上的通过率推广给所有早期线索。
|
||||
|
||||
T08报告四层结果:契约fixture、真实本地连通、中文专项效果、运行用途准入。可连通但效果差时报告失败,disabled路径仍可运行。mock与模拟专家标签不能代替独立专家标注。模型更新对既有护栏有回归时不能发布。
|
||||
|
||||
文档验证只检查编号/链接/事实/格式及源代码未变;本轮不运行未实现的新功能测试,也不重跑与纯文档无关的全量构建。行为实现时统一verify要求不变。
|
||||
|
||||
Reference in New Issue
Block a user