Петер Маурер: “Мы должны решить, какую роль мы отведем человеку в принятии решений, от которых зависит жизнь и смерть".
Речь Петера Маурера, президента Международного Комитета Красного Креста, во время виртуального брифинга по позиция МККК в отношении автономных систем вооружений, 12 мая 2021 г., Женева
Ваши Превосходительства! Дамы и господа!
Благодарю вас за участие в этом виртуальном брифинге. Я с удовольствием расскажу вам о важном событии в аналитической работе МККК и о его рекомендациях по автономным системам вооружений и буду рад выслушать ваши мнения по этой теме как сегодня, так и в будущем.
Цифровые технологии развиваются поразительно быстро, и это вносит свои изменения и в наш образ жизни, и в нашу работу, и даже в наше мышление. Они открывают широкие перспективы перед человечеством, и я регулярно рассказываю о том, как мы в МККК используем цифровые новшества, чтобы повысить эффективность гуманитарной деятельности по всему миру.
Развитие цифровых технологий влияет и на то, как ведутся войны. Новые оружейные технологии порождают серьезные гуманитарные, правовые и этические дилеммы, именно об этом я и хотел бы рассказать сегодня.
Автономные системы вооружений, как МККК понимает этот термин, представляют собой оружие, которое выбирает цель и применяет против нее силу без участия человека. Они делают это на основе обобщенного «профиля цели» и показаний датчиков. От другого оружия они отличаются тем, что после того как их активирует человек, они наносят удар, получив стимул из окружающей среды, а не от оператора. Это значит, что оператор не выбирает конкретную цель.
Автономные системы вооружений порождают множество непростых вопросов, касающихся военных, технических, правовых, этических, философских и, разумеется, гуманитарных аспектов.
Такая неоднозначность усугубляет и политические проблемы, с которыми сталкиваются государства, пытаясь обеспечить общее понимание потенциальных рисков и необходимых решений.
Это оружие уже используется: ограниченно, в особых обстоятельствах, обычно там, где поблизости нет гражданских лиц, и против строго определенных видов целей, например для защиты военных кораблей на море от приближающихся ракет.
Тем не менее, современные технологии и новые военные разработки повышают интерес к применению таких автономных систем вооружений, которые могут наносить удары по более широкому спектру целей, на более обширных территориях и в течение более длительного времени и даже в городах, где обстановка характеризуется сложностью и динамичностью.
По мнению МККК, неограниченное применение автономных систем вооружений создает серьезные риски причинения вреда как гражданским лицам, так и комбатантам.
Рассмотрим, например, ситуации, когда в зоне военных действий оказывается большое число гражданских лиц. В случае применения автономного оружия: как защитить гражданских лиц, если оператор автономной системы вооружений точно не знает, где, когда и что он уничтожит?
Или представьте себе, что датчик автономной системы вооружений среагирует на гражданские автобусы, похожие на транспорт для перевозки военнослужащих, и она начнет наносить удары по всем автобусам на обширной территории, а оператор при этом не сможет вмешаться и деактивировать ее?
Кроме того, автономные системы вооружений повышают опасность эскалации конфликтов, например, когда нет времени или средств отключить автономную систему вооружений, пока не поздно.
МККК обеспокоен возможными гуманитарными последствиями их применения. Применение автономных систем вооружений значительно усложняет соблюдение международного гуманитарного права, нормы которого требуют от комбатантов принимать решения, исходя из сложившихся условий. Например, как щадить раненых солдат, если некому определить, что они выбыли из строя?
Кроме того, применение автономных систем вооружений поднимает вопросы, вызывающие серьезную озабоченность этического характера в том, что касается гуманности, фактически предоставляя датчикам, программам и машинам принимать вместо человека решения, от которых зависит жизнь и смерть людей.
В конечном счете, большинство из нас согласится с тем, что алгоритм — машинный процесс — не должен определять, кто останется жить, а кто должен умереть, человеческая жизнь не должна зависеть от показаний датчиков и машинных вычислений.
Вооруженные силы, стремящиеся к постоянному повышению скорости нападения и использующие всё больше боевых роботов, хотят автономности ради военного преимущества. В то же время это меняет роль человека в принятии решений о применении силы. Сегодня, когда наступила новая эра программного обеспечения для машинного обучения, которое само пишет себе инструкции, многие опасаются, что это создает угрозу для защиты гражданских лиц и международной безопасности.
Все это побуждает нас спросить себя не просто о том, для чего такие новые технологии возможно использовать, но и о том, для чего их следует использовать. Они побуждают нас принимать ответственные решения о будущем военных действий. В конечном счете мы — как общество — должны решить, какую роль мы отведем человеку в принятии решений, от которых зависит жизнь и смерть.
Существует явная опасность того, что контроль и учет мнения человека при принятии решений, от которых зависит жизнь и смерть людей, могут быть постепенно ослаблены до неприемлемого уровня Это подчеркивают многие представители министерств иностранных дел, вооруженных сил и гуманитарных организаций, а также эксперты в сфере робототехники и искусственного интеллекта.
Ничем не ограниченные разработка и применение автономных систем вооружений представляют собой фундаментальную проблему. Это грозит размыванием существующих норм, которые предоставляют защиту жертвам войны в соответствии с международным гуманитарным правом и принципами гуманности.
Международное гуманитарное право само по себе стремится сохранить определенную степень гуманности на войне. Его нормы применяются ко всем средствам и методам военных действий, включая новые. Тем не менее, государства регулярно принимают конкретные нормы для усиления защиты гражданских лиц и лиц, более не принимающих участия в военных действиях, от последствий применения новых оружейных технологий, в том числе превентивно. Примером тому могут послужить Санкт-Петербургская декларация о взрывчатых и зажигательных пулях 1868 г. и запрещение ослепляющего лазерного оружия более чем 100 лет спустя.
Последние десять лет обсуждение автономных систем вооружений ведется на международном уровне — среди различных государств, — в том числе в Совете по правам человека и на заседаниях высоких договаривающихся сторон Конвенции о негуманном оружии. Очень полезными для этого обсуждения были участие дипломатов, военных, представителей гражданского общества, ученых, членов научного и технического сообществ и выдвинутые ими идеи.
Какой же вклад внес в это обсуждение МККК?
В соответствии с нашим мандатом мы, в том числе с помощью консультаций экспертов, тщательно изучили вопрос о том, как обеспечить сохранение контроля со стороны человека и учета его мнения при применении силы.
Мы регулярно делились выводами со всеми заинтересованными сторонами.
Мы принимали в этих дебатах активное участие и внимательно слушали, что вызывает озабоченность у всех заинтересованных сторон, включая государства. Я лично получил большое удовольствие от очень конструктивного обмена мнениями со многими из вас и вашими коллегами как в Женеве, так и в столицах разных государств по всему миру.
С 2015 г. мы настоятельно призываем государства внедрить у себя ограничения автономных систем вооружений, согласованные на международном уровне. Сегодня я предлагаю вашему вниманию обновленные и отредактированные рекомендации для государств, касающиеся как формы, так и содержания этих ограничений.
МККК убежден, что международные ограничения должны быть оформлены в виде новых юридически обязательных норм, регламентирующих автономные системы вооружений.
Мы считаем, что новые нормы необходимы:
и для того чтобы пояснить, как существующие нормы международного права ограничивают применение такого оружия;
и для того чтобы дополнить нормативно-правовую базу, в том числе для решения вызывающих обеспокоенность фундаментальных проблем этического характера.
В плане содержания этих норм мы хотели бы предложить три конкретные рекомендации.
Во-первых, на наш взгляд, следует исключить применение непредсказуемых автономных систем вооружений, в частности из-за неизбирательных последствий их применения, и что лучше всего это было бы сделать, запретив непредсказуемые автономные системы вооружений.
Во-вторых, мы считаем, что применение автономных систем вооружений для выбора людей в качестве целей должно быть исключено. Данная рекомендация основана на этических соображениях сохранения гуманности, а также на необходимости утвердить нормы международного гуманитарного права о защите гражданских лиц и выбывших из строя комбатантов. На наш взгляд, лучше всего этого позволит добиться запрет автономных систем вооружений, предназначенных для уничтожения живой силы.
И наконец, в-третьих, мы рекомендуем регулировать применение и других автономных систем вооружений, в том числе с помощью четырех видов ограничений:
во-первых, четко обозначить виды целей, например, ограничив их типичными военными объектами, такими как танки или атакующие ракеты;
во-вторых, ограничить продолжительность, географический охват и масштаб их применения;
в-третьих, ограничить ситуации их применения, например, ситуациями, где нет гражданского населения или гражданских объектов;
в-четвертых, установить требование обязательного взаимодействия между человеком и машиной, прежде всего, чтобы обеспечить действенный надзор со стороны человека, возможность его своевременного вмешательства и деактивации системы.
Дальнейшие подробности этих рекомендаций и их обоснование можно найти в документе, который мы предоставим вам сегодня сразу же после брифинга. Все эти рекомендации в любом случае потребуют дальнейшего обсуждения, не ограниченного рамками документа, который мы распространяем, и я с нетерпением жду ваших отзывов, сегодня или в предстоящие недели и месяцы, чтобы использовать их при дальнейшей доработке наших предложений и рекомендаций.
Конечно, решать, надо ли принимать новые нормы, и определять их конкретное наполнение будут государства. МККК сформулировал эти рекомендации на основе своего правового опыта, углубленного анализа проблем, связанных с разработкой и применением автономных систем вооружений, и опыта оперативной деятельности во время вооруженных конфликтов. Наша цель заключается в содействии многостороннему обсуждению и в том, чтобы помочь государствам сделать еще один шаг на пути к выявлению возможных направлений сближения.
В этом отношении, как мне кажется, рекомендации предлагают четкие, принципиальные и прагматичные руководящие указания о том, как эффективно работать с вызывающими озабоченность проблемами гуманитарного, правового и этического характера, которые были озвучены многими государствами, гражданским обществом, ведущими учеными и МККК.
Эти рекомендации не отменяют возможности разработки и применения новых цифровых технологий ведения войны в других направлениях, например с целью повышения точности оружия или качества принятия решений человеком.
Надеюсь, эти рекомендации помогут вам в ваших усилиях, направленных на достижение общего понимания и принятие мер политического характера на международном уровне, в том числе на встречах высоких договаривающихся сторон Конвенции о негуманном оружии и ее Группы правительственных экспертов.
Могу заверить вас, что МККК готов оказать поддержку всем инициативам, направленным на эффективное решение вопросов, вызывающих озабоченность, которые возникают в связи с автономными системами вооружений, и сотрудничать в этой сфере с правительствами всех стран и их вооруженными силами, а также с другими соответствующими заинтересованными сторонами.
В том числе, мы готовы поддерживать усилия по разработке различных аспектов нормативно-правовой и оперативной базы, например принятие политической декларации, стандартов общей стратегии или руководства по эффективной практике. Такая деятельность может дополнять другие мероприятия и усиливать нормы, имеющие обязательный правовой характер.
Учитывая скорость разработки автономных систем вооружений, МККК считает принятие новых норм об автономных системах вооружений настоятельно необходимым. Конечно, чтобы прийти к общему пониманию относительно того, какие именно действия требуются, предстоит проделать большую работу.
В заключение я хотел бы особо обратить ваше внимание на возможности, которыми мы сегодня располагаем.
Мы формируем технологии. А технологии, в свою очередь, формируют нас. Эти изменения происходят не в вакууме. Но решения о том, для чего следует использовать технологии, должны приниматься не только исходя из оценки издержек и выгод, они должны быть основаны на человеческих ценностях.
У нас есть возможность всем вместе в интересах людей установить некий предел, который нельзя будет переступать. Я особо подчеркиваю слово «людей», потому что с точки зрения МККК автономные системы вооружений вызывают озабоченность не только и не столько технического характера. Нас заботит судьба людей. Нас заботят гарантии защиты, предоставляемые людям во время вооруженных конфликтов. Нас заботят правовые обязательства и нравственная ответственность людей, ведущих конфликт. В конечном итоге, нас заботит судьба свойственной всем нам гуманности. Спасибо.
