Cada prueba empieza listando cómo podría fallar y convierte cada forma en un caso; en las funciones nuevas se rompe a propósito la implementación para confirmar que la prueba lo detecta. La base de datos es PostgreSQL real.
| Prueba | Formas de fallo | Resultado | Tiempo (s) |
|---|---|---|---|
Configuración de IA: interruptores, proveedores, niveles, límitesconsoleapi.TestAISettingsHTTP | 8 | Aprobada | 0.6 |
Pasarela: nunca llama al modelo si está desactivadaaigw.TestGatesNeverCallModel | 4 | Aprobada | 0.5 |
Pasarela: solo usa proveedores disponiblesaigw.TestRoutesOnlyUsableProviders | 4 | Aprobada | 0.5 |
Pasarela: acceso y tope mensual del modelo alojadoaigw.TestHostedGate | 4 | Aprobada | 0.4 |
Pasarela: conmutación por error y cortocircuitoaigw.TestFailoverAndBreaker | 4 | Aprobada | 0.6 |
Pasarela: contabilidad y límites diario y mensualaigw.TestAccountingAndCaps | 3 | Aprobada | 0.6 |
Pasarela: ocultación de datos sensiblesaigw.TestRedaction | 3 | Aprobada | 0.5 |
Pasarela: cifrado y borrado de clavesaigw.TestKeysAndDelete | 3 | Aprobada | 0.5 |
Pasarela: ambos protocolos y llamadas a herramientasaigw.TestProtocolsToolCalls | 3 | Aprobada | 0.4 |
Consultar dispositivosconsoleapi.TestAIQueryHTTP | 6 | Aprobada | 0.6 |
Explicar todoconsoleapi.TestAIExplainHTTP | 8 | Aprobada | 0.6 |
Explicar: coincidencia de problemas conocidosaiexplain.TestContainsKey | 3 | Aprobada | 0.0 |
Diagnóstico con un clicconsoleapi.TestAIDiagnoseHTTP | 4 | Aprobada | 0.6 |
Política con una fraseconsoleapi.TestPolicyAIDraftHTTP | 7 | Aprobada | 0.5 |
Borrador: solo restricciones realesaidraft.TestSwitchesAreRealRestrictions | 9 | Aprobada | 0.0 |
Borrador: conversión y descartesaidraft.TestConvert | 9 | Aprobada | 0.0 |
Revisión de riesgos: reglasconsoleapi.TestPolicyRiskCheckHTTP | 7 | Aprobada | 0.5 |
Revisión de riesgos: segunda opinión de IAconsoleapi.TestPolicyRiskReviewHTTP | 6 | Aprobada | 0.5 |
Informe semanal y resumen de IAconsoleapi.TestWeeklyReportHTTP | 8 | Aprobada | 0.5 |
Asistente de claseconsoleapi.TestClassAIDraftHTTP | 5 | Aprobada | 0.5 |
Asistente de clase: comprobacionesaiclass.TestCheck | 7 | Aprobada | 0.0 |
Asistente de clase: llamada y datos enviadosaiclass.TestAsk | 7 | Aprobada | 0.0 |
Revisión de appsconsoleapi.TestAppCheckE2E | 5 | Aprobada | 0.6 |
Revisión de apps: reglas de riesgoappcheck.TestEvaluate | 9 | Aprobada | 0.0 |
Revisión de apps: lectura del instaladorappcheck.TestScanZip | 9 | Aprobada | 0.0 |
Revisión de apps: instaladores realesconsoleapi.TestAppCheckRealAPKs | — | Omitida (requiere instaladores reales en el equipo) | 0.0 |
Servidor MCPconsoleapi.TestMCPHTTP | 8 | Aprobada | 0.6 |
Seguir el modelo más recienteconsoleapi.TestAIFollowHTTP | 10 | Aprobada | 0.9 |
Seguir el más reciente: líneas y candidatosaifollow.TestCandidate | 6 | Aprobada | 0.0 |
Seguir el más reciente: cambiar y revertiraifollow.TestVerdictAndDegraded | 6 | Aprobada | 0.0 |
Batería: completa, sin duplicados, con criterioaieval.TestBuiltinSet | 4 | Aprobada | 0.0 |
Batería: preguntas no evaluadas cuentan como falloaieval.TestSummarizeCountsUnrun | 4 | Aprobada | 0.0 |
Las preguntas salen de incidentes reales y límites de diseño. Solo se puntúan propiedades verificables: puntos clave, sin frases prohibidas, los tres encabezados, planes y opciones de política esperados. Un modelo nuevo debe aprobar antes de entrar en producción.
| Modelo | Aprobadas | Tiempo medio (s) | Preguntas falladas |
|---|---|---|---|
| gpt-6.1-sol | 32 / 32 | 4.4 | — |
| gpt-6-astra | 32 / 32 | 4.9 | — |
| gpt-6-luna | 29 / 32 | 2.2 | alert-battery, appcheck-ads-zh, draft/wifi-trap-zh |
Un modelo que no lo aprueba todo no se asigna a las funciones que lo necesitan; qué modelo usa cada nivel lo fija la configuración de IA de la escuela (gpt-6-luna, del nivel rápido, hoy solo se usa para traducir la marca).
| Script | Qué se verificó |
|---|---|
tools/walk/ai_settings.mjs | Añadir proveedor, obtener modelos, probar, niveles, activar; la clave aparece como *** en la auditoría |
tools/walk/policy_ai_draft.mjs | Redactar una política con una frase; se quitan una app no instalada y «apagar Wi-Fi» con nota; guardado tras la revisión |
tools/walk/app_check.mjs | Revisión con un instalador real; hallazgos con nombres de componentes; consejo de IA en tres partes |
tools/walk/class_ai.mjs | Redactar una clase: app de encuestas fijada, 20 minutos, cámara; lo imposible se indica; no se inicia la clase |
tools/walk/mcp.mjs | La página de tokens da el comando de conexión; un restablecimiento pedido por una IA externa queda pendiente y su autor no puede confirmarlo |
tools/walk/ai_follow.mjs | Tras evaluaciones reales los niveles estándar y de razonamiento pasaron a versiones nuevas; Revertir los restauró al momento |