Amazon dice que ningún humano escribió o revisó el código de su nueva herramienta de pruebas en la nube

Amazon lanzó AWS Emulator el 11 de noviembre, una herramienta local que imita los servicios de AWS para que los desarrolladores puedan probar aplicaciones en la nube en sus propias máquinas. La compañía afirma que agentes de IA autónomos escribieron y revisaron su implementación.

En la cuenta de ingeniería de Amazon, el ingeniero Matthew Goldberg dice que su equipo no escribió ni revisó el código del emulador. También describe el trabajo de ingeniería sustancial necesario para convertir un experimento en un producto, incluidos los límites y controles que determinan qué cambios pueden ser enviados.

Amazon describe tres equipos de agentes: uno gestiona pruebas de fidelidad, otro encuentra diferencias entre el emulador y el AWS real, y un tercero soluciona problemas individuales. Según la compañía, los cambios enfrentan controles para compilación, estándares de codificación, seguridad y regresiones antes de fusionarse.

Los agentes de prueba trabajan a partir de modelos de API públicos de AWS y verifican sus escenarios contra la nube real. La suite de evaluación pública dice que cada prueba de fidelidad fue verificada contra al menos dos cuentas de AWS en sandbox.

Lo que establece una prueba aprobada

AWS llama al grado de acuerdo con sus servicios en la nube "fidelidad". Una prueba se aprueba cuando el emulador coincide con AWS para cada llamada en ese flujo de trabajo, incluidos códigos de estado, recursos resultantes, efectos secundarios y errores, según su documentación de fidelidad. Devolver éxito donde AWS devuelve un error falla esa prueba.

El límite es la cobertura. El repositorio de evaluación dice explícitamente que el comportamiento sin una prueba de fidelidad no está verificado. Aprobar un escenario establece una coincidencia para ese escenario; no establece que cada forma en que una aplicación utiliza AWS funcionará.

Dónde se detiene una prueba de emulador aprobada

AWS define un pase dentro de un flujo de trabajo probado. El comportamiento no probado y la seguridad de la aplicación están más allá de esa conclusión.
Lo que establece una prueba de emulador de AWS
El comportamiento esperado de AWS y el comportamiento del emulador deben coincidir a través de un flujo de trabajo probado. El comportamiento no probado y la seguridad de la aplicación permanecen fuera de esa conclusión. UN ESCENARIO DE PRUEBA REFERENCIA REAL DE AWS Comportamiento esperado REPRODUCCIÓN DEL EMULADOR Comportamiento observado Si cada llamada coincide Códigos de estado · recursos · efectos secundarios · errores Pase para este escenario MÁS ALLÁ DE LA CONCLUSIÓN DE ESTA PRUEBA Comportamiento no probado Permanece no verificado Seguridad de la aplicación Prueba en AWS real
Lo que establece una prueba de emulador de AWS
Dos ramas comparan el comportamiento esperado y observado. Un flujo de trabajo aprobado deja el comportamiento no probado y la seguridad de la aplicación no verificados. UN ESCENARIO DE PRUEBA REFERENCIA REAL DE AWS Comportamiento esperado REPRODUCCIÓN DEL EMULADOR Comportamiento observado Si cada llamada coincide Códigos de estado · recursos Efectos secundarios · errores Pase para este escenario MÁS ALLÁ DE LA CONCLUSIÓN DE ESTA PRUEBA Comportamiento no probado Permanece no verificado Seguridad de la aplicación Prueba en AWS real

Un flujo de trabajo aprobado es evidencia para ese escenario. No valida todo el comportamiento de AWS ni la seguridad de la aplicación.

El diagrama muestra la regla de pase de AWS, no un resultado de prueba particular o cobertura medida. La seguridad de la aplicación aún requiere pruebas en AWS real antes de la producción.
Fuentes y evidencia

Fuentes

1. Definición de fidelidad de AWS
2. Suite de evaluación de AWS
3. Limitaciones de seguridad de AWS
4. Uso previsto del emulador de AWS

Hechos de apoyo

• AWS define un pase de prueba de fidelidad como coincidir con AWS para cada llamada en el escenario, incluidos códigos de estado, recursos, efectos secundarios y errores, y publica pruebas que el emulador aún no pasa. [1]
• La suite de evaluación pública dice que el comportamiento no cubierto por una prueba de fidelidad no está verificado; por lo tanto, un escenario aprobado no establece equivalencia en todo el comportamiento de AWS. [2] [1]
• AWS advierte contra el uso del emulador para validar la seguridad de la aplicación: no verifica las políticas de claves de AWS KMS ni las políticas de buckets de Amazon S3, y una solicitud que AWS niega puede tener éxito en el emulador. [3]
• AWS instruye a los usuarios a probar toda su aplicación y configuraciones de seguridad en AWS real antes de la producción; el emulador está destinado para construir y probar, no para cargas de trabajo de producción. [3] [4]

Método

Diagrama cualitativo de la definición de fidelidad publicada por AWS y los límites de prueba. Las ramas comparan la referencia de AWS real con la reproducción del emulador; no representan pruebas en vivo simultáneas, cantidades o proporciones de cobertura.

Alcance

El diagrama muestra la regla de pase de AWS, no un resultado de prueba particular o cobertura medida. La seguridad de la aplicación aún requiere pruebas en AWS real antes de la producción.

Este contenido se ofrece únicamente con fines informativos generales y no constituye un asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, operar o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.