AI 功能测试报告

ClassPad 已上线的 AI 功能:真库测试、评测集与本机走查

生成于 2026-10-12 13:34 · 20261012-133409.json · 20261012-081448

汇总:31 项通过、0 项不通过、1 项跳过;评测 gpt-6.1-sol 32/32;gpt-6-astra 32/32;gpt-6-luna 29/32

一、真库端到端与单元测试

每个测试开头先列出「可能失败的方式」,逐条写成用例;新功能还会故意改坏实现,确认测试会报错。数据库为真实 PostgreSQL。

测试失败方式结果耗时(秒)
AI 设置:开关、供应商、档位、花费上限
consoleapi.TestAISettingsHTTP
8通过0.6
网关:开关没开时绝不调用模型
aigw.TestGatesNeverCallModel
4通过0.5
网关:只走可用的供应商
aigw.TestRoutesOnlyUsableProviders
4通过0.5
网关:托管模型的开通与月上限
aigw.TestHostedGate
4通过0.4
网关:出错自动换备用、熔断
aigw.TestFailoverAndBreaker
4通过0.6
网关:记账与每日每月上限
aigw.TestAccountingAndCaps
3通过0.6
网关:敏感信息遮挡
aigw.TestRedaction
3通过0.5
网关:密钥加密与删除
aigw.TestKeysAndDelete
3通过0.5
网关:两种协议与工具调用
aigw.TestProtocolsToolCalls
3通过0.4
一句话查设备
consoleapi.TestAIQueryHTTP
6通过0.6
解释一切
consoleapi.TestAIExplainHTTP
8通过0.6
解释:已知问题匹配
aiexplain.TestContainsKey
3通过0.0
一键诊断
consoleapi.TestAIDiagnoseHTTP
4通过0.6
一句话生成策略
consoleapi.TestPolicyAIDraftHTTP
7通过0.5
生成策略:只起草真实存在的限制项
aidraft.TestSwitchesAreRealRestrictions
9通过0.0
生成策略:草稿转表单与剔除
aidraft.TestConvert
9通过0.0
改动前审风险:规则检查
consoleapi.TestPolicyRiskCheckHTTP
7通过0.5
改动前审风险:AI 复核
consoleapi.TestPolicyRiskReviewHTTP
6通过0.5
周报与 AI 小结
consoleapi.TestWeeklyReportHTTP
8通过0.5
课堂助手
consoleapi.TestClassAIDraftHTTP
5通过0.5
课堂助手:计划校验与剔除
aiclass.TestCheck
7通过0.0
课堂助手:调用与外发内容
aiclass.TestAsk
7通过0.0
应用体检
consoleapi.TestAppCheckE2E
5通过0.6
应用体检:风险规则
appcheck.TestEvaluate
9通过0.0
应用体检:读安装包
appcheck.TestScanZip
9通过0.0
应用体检:真实安装包
consoleapi.TestAppCheckRealAPKs
—跳过(需本机放真实安装包)0.0
MCP 对外服务
consoleapi.TestMCPHTTP
8通过0.6
跟随最新模型
consoleapi.TestAIFollowHTTP
10通过0.9
跟随最新模型:认产品线、挑候选
aifollow.TestCandidate
6通过0.0
跟随最新模型:换与退回的判定
aifollow.TestVerdictAndDegraded
6通过0.0
评测集:题目完整、不重复、都有判据
aieval.TestBuiltinSet
4通过0.0
评测集:没考到的题算没过
aieval.TestSummarizeCountsUnrun
4通过0.0

二、评测集(模型考试)

题目来自真实事故与设计限制。判分只看可核对的性质:要点是否说到、有无禁用说法、三段小标题是否齐全、起草的计划与策略项是否对得上。新模型须先考过才会换上线。

模型通过平均耗时(秒)没过的题
gpt-6.1-sol32 / 324.4—
gpt-6-astra32 / 324.9—
gpt-6-luna29 / 322.2alert-battery, appcheck-ads-zh, draft/wifi-trap-zh

没全过的模型不会被分给需要它的功能;线上各档位实际用哪个模型,以学校「AI 设置」为准(目前快速档的 gpt-6-luna 只用于品牌翻译)。

三、本机走查(接真模型)

脚本验证了什么
tools/walk/ai_settings.mjs加供应商、取模型、测连接、配档位、开总开关;审计里密钥显示为 ***
tools/walk/policy_ai_draft.mjs一句话起草策略,本校没装的应用与「关掉 Wi-Fi」被剔掉并说明,保存前检查后保存
tools/walk/app_check.mjs真实安装包体检,发现项显示组件名称、AI 说明三段齐全
tools/walk/class_ai.mjs一句话起草一节课:固定到问卷、20 分钟、开相机,做不到的如实说明,没有开课
tools/walk/mcp.mjs令牌页给出连接命令;外部 AI 发起恢复出厂只生成待确认请求,本人看不到「确认执行」
tools/walk/ai_follow.mjs真模型考试后标准档自动换到新版本、推理档自动换到新版本,退回按钮当场恢复