每个测试开头先列出「可能失败的方式」,逐条写成用例;新功能还会故意改坏实现,确认测试会报错。数据库为真实 PostgreSQL。
| 测试 | 失败方式 | 结果 | 耗时(秒) |
|---|---|---|---|
AI 设置:开关、供应商、档位、花费上限consoleapi.TestAISettingsHTTP | 8 | 通过 | 0.6 |
网关:开关没开时绝不调用模型aigw.TestGatesNeverCallModel | 4 | 通过 | 0.5 |
网关:只走可用的供应商aigw.TestRoutesOnlyUsableProviders | 4 | 通过 | 0.5 |
网关:托管模型的开通与月上限aigw.TestHostedGate | 4 | 通过 | 0.4 |
网关:出错自动换备用、熔断aigw.TestFailoverAndBreaker | 4 | 通过 | 0.6 |
网关:记账与每日每月上限aigw.TestAccountingAndCaps | 3 | 通过 | 0.6 |
网关:敏感信息遮挡aigw.TestRedaction | 3 | 通过 | 0.5 |
网关:密钥加密与删除aigw.TestKeysAndDelete | 3 | 通过 | 0.5 |
网关:两种协议与工具调用aigw.TestProtocolsToolCalls | 3 | 通过 | 0.4 |
一句话查设备consoleapi.TestAIQueryHTTP | 6 | 通过 | 0.6 |
解释一切consoleapi.TestAIExplainHTTP | 8 | 通过 | 0.6 |
解释:已知问题匹配aiexplain.TestContainsKey | 3 | 通过 | 0.0 |
一键诊断consoleapi.TestAIDiagnoseHTTP | 4 | 通过 | 0.6 |
一句话生成策略consoleapi.TestPolicyAIDraftHTTP | 7 | 通过 | 0.5 |
生成策略:只起草真实存在的限制项aidraft.TestSwitchesAreRealRestrictions | 9 | 通过 | 0.0 |
生成策略:草稿转表单与剔除aidraft.TestConvert | 9 | 通过 | 0.0 |
改动前审风险:规则检查consoleapi.TestPolicyRiskCheckHTTP | 7 | 通过 | 0.5 |
改动前审风险:AI 复核consoleapi.TestPolicyRiskReviewHTTP | 6 | 通过 | 0.5 |
周报与 AI 小结consoleapi.TestWeeklyReportHTTP | 8 | 通过 | 0.5 |
课堂助手consoleapi.TestClassAIDraftHTTP | 5 | 通过 | 0.5 |
课堂助手:计划校验与剔除aiclass.TestCheck | 7 | 通过 | 0.0 |
课堂助手:调用与外发内容aiclass.TestAsk | 7 | 通过 | 0.0 |
应用体检consoleapi.TestAppCheckE2E | 5 | 通过 | 0.6 |
应用体检:风险规则appcheck.TestEvaluate | 9 | 通过 | 0.0 |
应用体检:读安装包appcheck.TestScanZip | 9 | 通过 | 0.0 |
应用体检:真实安装包consoleapi.TestAppCheckRealAPKs | — | 跳过(需本机放真实安装包) | 0.0 |
MCP 对外服务consoleapi.TestMCPHTTP | 8 | 通过 | 0.6 |
跟随最新模型consoleapi.TestAIFollowHTTP | 10 | 通过 | 0.9 |
跟随最新模型:认产品线、挑候选aifollow.TestCandidate | 6 | 通过 | 0.0 |
跟随最新模型:换与退回的判定aifollow.TestVerdictAndDegraded | 6 | 通过 | 0.0 |
评测集:题目完整、不重复、都有判据aieval.TestBuiltinSet | 4 | 通过 | 0.0 |
评测集:没考到的题算没过aieval.TestSummarizeCountsUnrun | 4 | 通过 | 0.0 |
题目来自真实事故与设计限制。判分只看可核对的性质:要点是否说到、有无禁用说法、三段小标题是否齐全、起草的计划与策略项是否对得上。新模型须先考过才会换上线。
| 模型 | 通过 | 平均耗时(秒) | 没过的题 |
|---|---|---|---|
| gpt-6.1-sol | 32 / 32 | 4.4 | — |
| gpt-6-astra | 32 / 32 | 4.9 | — |
| gpt-6-luna | 29 / 32 | 2.2 | alert-battery, appcheck-ads-zh, draft/wifi-trap-zh |
没全过的模型不会被分给需要它的功能;线上各档位实际用哪个模型,以学校「AI 设置」为准(目前快速档的 gpt-6-luna 只用于品牌翻译)。
| 脚本 | 验证了什么 |
|---|---|
tools/walk/ai_settings.mjs | 加供应商、取模型、测连接、配档位、开总开关;审计里密钥显示为 *** |
tools/walk/policy_ai_draft.mjs | 一句话起草策略,本校没装的应用与「关掉 Wi-Fi」被剔掉并说明,保存前检查后保存 |
tools/walk/app_check.mjs | 真实安装包体检,发现项显示组件名称、AI 说明三段齐全 |
tools/walk/class_ai.mjs | 一句话起草一节课:固定到问卷、20 分钟、开相机,做不到的如实说明,没有开课 |
tools/walk/mcp.mjs | 令牌页给出连接命令;外部 AI 发起恢复出厂只生成待确认请求,本人看不到「确认执行」 |
tools/walk/ai_follow.mjs | 真模型考试后标准档自动换到新版本、推理档自动换到新版本,退回按钮当场恢复 |