Влияние искусственного интеллекта на вооруженные конфликты: мнения экспертов

Благодаря искусственному интеллекту средства ведения войны уже в 21 веке будут отличаться от современных примерно так, как смартфон отличается от дискового телефона.

Они будут способны вести войны бескровно. Они будут не завоевывать территории, а «брать их под контроль». Они научатся «зачищать» жилые кварталы не разрушая их и не причиняя большого вреда гражданским лицам.

В следующем десятилетии ИИ поможет создать «гуманные» вооружения, которые будут лишь временно выводить из строя живую силу или обездвиживать террористов с помощью неослепляющих лазеров, электрошокеров, направленных импульсов.

Мы убедимся, что новейшие технологии, например – блокчейн, обеспечивают вполне надежный контроль за действиями умных систем. Человек сможет следить за их действиями онлайн, а записи из «черных ящиков» подтвердят, что атаки беспилотной эскадрильи или роты не нарушали принципов международного гуманитарного права.

Более того, появится возможность назначить роботу уровень соблюдения МГП, буквально в процентах. А позже арбитр на ИИ-платформе придирчиво оценит и подтвердит, что алгоритм отработал в пределах дозволенных параметров.

Кстати, для этого понадобится интерпретировать МГП в понятиях цифрового мира, то есть задать конкретные формулы расчета пропорциональности, избирательности, предосторожности.

Искусственный интеллект открывает людям новые горизонты и новые возможности реализовать свои мечты и планы. Но все ли мечты и планы заслуживают воплощения? В конце концов людские страхи по поводу надвигающегося будущего в реальности связаны не с искусственных интеллектом, а человеком, который за ним стоит. С тем самым Урфином Джусом из книги Александра Волкова, который создал и оживил армию деревянных солдат.

Как известно, в человеческой оболочке скрыты две сущности: одна от ангела, другая – от дьявола. Сегодня человечество определяется, которой из них будет служить искусственный интеллект.

Заглядывая в будущее ИИ и вооруженных конфликтов, всем кто, интересуется международным правом, необходимо, помимо всего прочего, расставить приоритеты и постараться глубже понять эти быстро развивающиеся технологии. И нам следует заниматься этим на постоянной основе.

Здесь мы сталкиваемся с извечным вопросом о предметных знаниях и праве вооруженного конфликта; вспомните о кибероперациях, автоматических системах выбора оружия, ядерных технологиях. Но масштаб и срочность проблем возрастают многократно, когда речь заходит о разнообразных методологиях и технологиях, прячущихся за вывеской ИИ, которые все больше меняют нашу жизнь. Этому во многом способствуют и комментарии о потенциальной способности ИИ трансформировать не только военные операции, но и сами вооруженные конфликты.

Однако создается впечатление, что множество теоретиков и практиков МГП плохо понимают феномен ИИ. Хуже того, многие даже не знают, что они этого не знают. И это опасно. Мы должны откровенно признаться, что не разбираемся в этих технологиях, и постараться сначала лучше понять заявленные выгоды и опасности военных алгоритмов, а не регулировать их сразу нормами международного права.

Семинар в декабре 2018 г., который мы организовали совместно с МККК и Стокгольмским центром, помог нам больше узнать об ИИ, возбудил в нас еще больше любопытства и заставил нас стать скромнее. По нашему мнению, недостаточно просто приглашать технического эксперта на будущие мероприятия по МГП (впрочем, как и всегда). Полдня мы чувствовали себя школьниками, и это неизбежно напомнило нам, что теоретики и практики МГП должны быть готовы учиться сами в той же мере, в какой они стремятся составлять предписания.

Искусственный интеллект уже повсюду. Поиск в Гугл, рекомендации «Амазон» и «Нетфликс», голосовые помощники Сири и Алекса, — все они используют технологии ИИ. ИИ широко применяют и военные, начиная с невинного «умного техобслуживания» грузовиков вплоть до автономных вооружений.

Использование возможностей ИИ наступательными автономными вооружениями заслуживает тщательного анализа. У меня есть три предложения и несколько вопросов, которые помогут обеспечить соответствие неизбежных будущих разработок нормам права и морали:

1. Человеческое суждение: Необходимо позаботиться о том, чтобы у командиров всегда оставалась возможность человеческого суждения на должном уровне. Другими словами, ключевые решения должен принимать человек, нельзя пускать в ход автономные системы вооружений, над которыми утрачен эффективный контроль человека.
2. Ответственность: Применение любого оружия должно соответствовать нормам МГП, командиры должны оставаться ответственными за любое оружие, которое они применяют. Это основополагающие принципы.
3. Сотрудничество между правительством и производителями: Лучшие и самые талантливые разработчики систем ИИ должны стремиться к законному и этичному применению ИИ в военной сфере и должны сотрудничать с законопослушными правительствами с этой целью. Если такие разработчики станут бойкотировать военные проекты, эту нишу быстро заполнят менее способные или менее этичные, или сочетающие в себе обе эти черты разработчики, а это — верный путь к катастрофе.

В заключение несколько вопросов, особенно тем, у кого вызывают озабоченность автономные вооружения. Может ли внедрение ИИ повысить эффективность автономных вооружений по сравнению с обычным оружием? А что, если автономные вооружения точнее обычных и вызывают меньше случайного ущерба? Будем ли мы юридически обязаны применять их, если они будут доступны? Не станет ли их разработка нашей моральной обязанностью?

Споры о применении ИИ на боле боя ведутся, в основном, по поводу законности внедрения автономных систем, способных осуществлять сложный процесс принятия решений без действенного контроля со стороны человека. Без человеческого суждения и сострадания применение средств и методов войны, основанных на технологиях ИИ, может привести к снижению недостаточному соблюдению гуманитарных норм и уровня гуманности. В результате на нынешнем этапе развития этих технологий, ИИ не может абсолютно самостоятельно принимать решения на поле боя (см., например, п. 65 Замечания общего порядка №36 Комитета ООН по правам человека). Однако по мере развития систем ИИ и повышения их способности быстро обрабатывать большие массивы данных, все сложнее будет ответить на вопрос, что же именно подразумевается под «действенным контролем», и будет расти риск сведения его к чистой формальности.

Более того, любой подход к нормотворчеству в области применения ИИ на поле боя и за его пределами должен в конечном счете опираться на эмпирические научные результаты сравнения преимуществ и недостатков процесса принятия решения как человеком, так и машиной. Если в будущем выяснится, что машины постоянно ошибаются реже людей (например, у них меньше ложных срабатываний), менее предвзяты (не подвержены страху или ненависти), то, как минимум, военные будут просто обязаны полагаться на ИИ при принятии решений, чтобы сократить ущерб для мирного населения или гражданских объектов, вызванный ошибками распознавания противника, или возможным сопутствующим ущербом. Отказ от применения подобных технологий можно будет считать пренебрежением разумными мерами предосторожности.

Это не означает, что людям уже нет места в процессе принятия решений. Как и во всех системах с двойной блокировкой, человек, путь даже менее информированный, (но, возможно, более сострадательный и видящий ситуацию в целом), всегда обязан контролировать ее и иметь возможность отменить команды ИИ, если сочтет их ошибочными. В то же время, менее информированный командир не должен отменять решение ИИ воздержаться от нападения, если лучше информированная система ИИ распознала в цели гражданское лицо или просчитала, что гражданским лицам будет причинен чрезмерный ущерб.

Короче говоря, роль человека будет неизбежно снижаться там, где возникает значительный разрыв между возможностями человека и машины собирать и анализировать данные. И этот разрыв, скорее всего, постепенно сместит человека с основных руководящих позиций в некоторых ситуациях на поле боя, оставив людям роль «сдержек и (или) противовесов» в отношении решений, принятых ИИ.

Самое значительное воздействие ИИ и машинное обучение в вооруженном конфликте будут оказывать на принятие решений. Наибольшие опасения внушает то, что принимающие решения люди будут полагаться на машины, будь то программы управления роботами, цифровые системы обработки данных, снабжающие людей результатами анализа, прогнозами и рекомендациями, кибератака, совершенная по инициативе ИИ, либо системы машинного обучения, выдающие недостоверную информацию.

Многие из подобных решений в ситуациях вооруженного конфликта могут оказаться критически важными с точки зрения безопасности, т.е. привести к смерти или серьезным ранениям, повредить или уничтожить имущество, либо привести к ограничениям свободы людей. Необходимо сохранить роль человека и контроль с его стороны над подобными решениями, чтобы избежать непредсказуемых последствий для гражданских лиц и комбатантов. Участие человека в процессе принятия решений необходимо, чтобы обеспечить их соответствие нормам гуманитарного права, касающимся поведения людей в ходе военных действий и сохранить толику гуманности в конфликте.

Для этого необходимо приспосабливать технологии и правила их применения под потребности человека, а не наоборот. Необходимо предусмотреть гарантии включения человека в процесс принятия решений, чтобы он нес за них ответственность, как юридическую, так и моральную. Если такое включение замедлит сам процесс, но человек сможет эффективно играть свою роль, то так тому и быть. Альтернативный же подход, когда ИИ не позволит человеку выполнять свои обязанности, неизбежно закончится плохо.