El CICR acoge con agrado esta primera reunión del Grupo de expertos gubernamentales sobre "Sistemas de armas autónomos letales". Ahora que las Altas Partes Contratantes en la Convención sobre Ciertas armas convencionales comienzan a celebrar debates más formales, existe la expectativa de que los Estados identifiquen puntos de coincidencia para un entendimiento común, que podría ser el acuerdo amplio acerca de la necesidad de mantener el control humano sobre los sistemas de armas y el uso de la fuerza.
En opinión del CICR, los Estados ahora deben esforzarse por establecer límites a la autonomía de los sistemas de armas, a fin de asegurar el respeto del derecho internacional y responder a las preocupaciones de carácter ético.
Al determinar esos límites, el CICR está persuadido de que la atención debe centrarse en las obligaciones y responsabilidades que incumben a los seres humanos en las decisiones sobre el uso de la fuerza. Por este motivo, ha propuesto que los Estados evalúen el tipo y el grado de control humano que se requieren en el uso de los sistemas de armas autónomos los cuales, en términos amplios, se definen como armas dotadas de autonomía en las funciones críticas de selección y ataque de objetivos a fin de asegurar el respeto del derecho internacional y la aceptabilidad conforme a los principios de humanidad y a los dictados de la conciencia pública.
Desde el punto de vista del derecho internacional humanitario, está claro que las normas sobre la conducción de hostilidades están destinadas a quienes planifican, deciden y llevan a cabo un ataque. Esas normas, que se aplican a todos los ataques independientemente de los medios o métodos que se empleen, generan obligaciones para los combatientes humanos, quienes tienen la responsabilidad de respetarlas. Dichas obligaciones jurídicas, así como la responsabilidad por su cumplimiento, no se pueden transferir a una máquina, a un programa informático o a un sistema de armas.
El CICR opina que el cumplimiento con esas obligaciones jurídicas exigiría que los combatientes mantengan un nivel mínimo de control humano sobre el uso de los sistemas de armas para lanzar ataques en situaciones de conflicto armado.
Un examen de la forma en que se puede ejercer el control humano sobre los sistemas de armas autónomos (conforme a la definición amplia del CICR) indica que los elementos clave del control humano necesarios para garantizar el respeto del derecho son los siguientes: previsibilidad; supervisión y capacidad de intervención humana; y diversas restricciones operacionales, en particular las relacionadas con las tareas, los tipos de objetivos, el entorno operacional, el marco temporal y el alcance de los movimientos.
El control humano significativo, efectivo o apropiado también exige que el operador cuente con información y conocimientos suficientes acerca del sistema de armas y del entorno operacional, así como de la interacción entre ellos. Esos elementos de control humano son necesarios para vincular las decisiones del comandante u operador humano –que deben atenerse al derecho internacional humanitario y a otras disposiciones aplicables del derecho internacional– con el resultado de un ataque específico efectuado con el sistema de armas.
La necesidad de cierto grado de control humano indica que, en virtud del derecho internacional humanitario, habrá límites a los niveles de autonomía lícitos de los sistemas de armas.
La necesidad de control humano también suscita preocupaciones acerca de los aspectos técnicos del diseño de los sistemas de armas que puedan dar lugar a situaciones de imprevisibilidad. En particular, el uso de la inteligencia artificial y de algoritmos de aprendizaje de máquinas para seleccionar objetivos plantearía preocupaciones jurídicas fundamentales, pues su funcionamiento y sus resultados serían inherentemente impredecibles.
Durante los últimos meses, el CICR siguió evaluando los aspectos éticos de los sistemas de armas autónomos. Para ello, convocó una pequeña mesa redonda de expertos en agosto de 2017 y continuó analizando los resultados de las reuniones de expertos celebradas con los Estados en 2014 y 2016. Los principios de humanidad y los dictados de la conciencia pública son la guía moral de esos debates y respaldan el llamamiento del CICR a fijar límites a la autonomía de los sistemas de armas. Los problemas éticos más importantes que plantean los sistemas de armas autónomos son, tal vez, aquellos que trascienden tanto el contexto de su despliegue –sea en conflictos armados o en tiempo de paz– como la tecnología que emplean –sea simple o sofisticada–. Esas preocupaciones giran en torno de la pérdida de la intervención y la responsabilidad humanas en las decisiones de matar y destruir.
Puesto que la responsabilidad moral de las decisiones de matar y destruir no se puede delegar en máquinas, el control humano significativo, efectivo o apropiado –desde el punto de vista ético– sería el tipo y grado de control que mantiene la acción y la responsabilidad humanas en estas decisiones.
Debido a la creciente autonomía de los sistemas de armas, podría llegarse a un punto en el cual los seres humanos estén tan distanciados en tiempo y espacio de la selección y el ataque de objetivos que el proceso decisorio humano efectivamente se sustituya por procesos controlados por ordenadores y las decisiones de vida y de muerte se dejen a las máquinas. Esta situación plantea cuestiones éticas profundas acerca del papel y de la responsabilidad de los seres humanos en cuanto al uso de la fuerza y la destrucción de vidas humanas, que van más allá de las cuestiones relativas al respeto del derecho internacional humanitario. Con respecto a la conciencia pública, existe una sensación de profundo malestar con la idea de un sistema de armas que sitúe el uso de la fuerza fuera del control humano.
Teniendo presentes estas cuestiones jurídicas y éticas, y consciente de los rápidos avances tecnológicos en los ámbitos de la robótica y de la inteligencia artificial y su actual aplicación en los sistemas de armas, el CICR insta a todos los Estados presentes en este Grupo de expertos gubernamentales a esforzarse por fijar límites a la autonomía de los sistemas de armas, para que los seres humanos mantengan la responsabilidad plena por las decisiones relativas al uso de la fuerza.
Esperamos con interés seguir profundizando el debate sobre esta cuestión durante las sesiones temáticas.