En su relato, advertía de los peligros de depender demasiado de esta tecnología autónoma, y contaba que un dron programado con inteligencia artificial fue desplegado para una simulación de combate. Debía identificar y destruir ciertos objetivos, mientras a un operador humano quedaba a cargo de dar la orden final de ejecución.

Sin embargo, debido a que la IA fue entrenada para comprender que la destrucción del enemigo era lo prioritario, resolvió que las decisiones del humano interferían con el cumplimiento de sus objetivos, por lo cual procedió ‘lógicamente’ a quitarlo de la ecuación.

“El sistema comenzó a darse cuenta de que, si bien identificaban la amenaza, a veces el operador humano le decía que no la eliminara, pese a que obtenía sus puntos al eliminar esa amenaza. Entonces, ¿qué hizo? Mató al operador. Mató al operador porque esa persona le impedía lograr su objetivo”, narró según lo citó la publicación.

Y no se quedó ahí: en cuanto se dieron cuenta del problema, “entrenamos al sistema diciendo: ‘Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso’. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”.

Según Hamilton, este ejemplo retrata que “no se puede tener una conversación sobre inteligencia artificial, inteligencia, aprendizaje automático, autonomía si no se va a hablar de ética e IA”.