Лилия Земнухова на «Популярной механике». Этика беспилотников: как нельзя кодировать мораль

Научный сотрудник Центра STS Лилия Земнухова опубликовала в журнале «Популярная механика» материал «Этика беспилотников: как нельзя кодировать мораль». Вопрос нетривиальный — как беспилотному автомобилю выбрать, кого сбить, в безвыходной аварийной ситуации? Эксперт разбирается с тем, что на самом деле делают, когда пытаются обучить беспилотник морали.

Приводим текст материала полностью:

 

Аморальная машина

Вопросы вроде — «кто важнее — человек или животное, доктор или вор, беременная женщина или пожилой мужчина?» — типичные для игры в моральную машину, которую создали на базе медиа-лаборатории Массачусетского технологического института. 

«Моральная машина» — один из самых известных на сегодняшний день проектов, посвященных решению этических вопросов. Его разработала команда исследователей из разных дисциплин, университетов и стран еще в 2015 году. С тех пор тест был переведен на 10 языков, и его прошли миллионы людей по всему миру. Идея этого проекта представляет собой попытку решить вопросы этики беспилотных автомобилей с помощью больших данных. То есть предполагалось, что чем больше людей решат эти задачи, тем больше шансов у разработчиков беспилотников сделать их машины действительно этичными. 

Уже в 2018 году команда проекта опубликовала статью в Nature, где раскрыла свои данные о прохождении теста. 40 миллионов решений из 233 стран — подумать только! На этой базе авторы рассказывают о глобальных различиях в том, какой выбор делали пользователи (а они есть, и очень значимые). Они предлагают кластеризацию стран по трем направлениям, где доминируют те или иные этические предпочтения, например, связанные с религиозными убеждениям. Также они анализируют индивидуальные выборы, исходя из демографических характеристик пользователей. Наконец, они пытаются выявить культурные и институциональные особенности этических решений. Общая их цель — предложить подходы к разработке такой этики, которая бы считалась социально приемлемой. Вроде бы звучит неплохо, но почему тогда на тест обрушилась массовая критика? 

Неэтичный аутсорсинг

С самого начала дизайн теста для измерения этики вызвал большую критику. Как можно принимать этические решения, опираясь на статистику ответов на тесты? Неужели подобный аутсорсинг может создать правильную этическую рамку? И вообще, какова вероятность, что беспилотники будут действительно сталкиваться хотя бы с одной из моделируемых ситуаций? 

Один из пунктов критики теста — сам факт аутсорсинга решения этических вопросов. Иными словами, разработчики снимают с себя ответственность и перекладывают ее на пользователей, чтобы они принимали решения о ситуациях, в которых готовы оказаться. Более того, моделируемые ситуации часто сильно далеки от реальности. Критические ситуации потому и критические, что не оставляют времени на принятие взвешенных решений, не дают возможности анализировать и оценивать жизнь тех или иных людей или даже животных. Почему были выбраны именно такие характеристики разных людей? И зачем вообще оценивать важность разных жизней, будто на такое решение действительно есть время в безвыходной ситуации.

Сама идея оценивания и сравнения важности разных жизней — классика дилеммы вагонетки — глубоко ошибочна, хотя бы потому что не имеет «правильного» решения. А идея калькуляции этих решений тем более не приводит к верному результату. Даже если простое большинство ответов окажется приемлемым в этом контексте, обществе или историческом срезе, это не означает, что то же решение будет адекватным для других обстоятельств. Постановка проблемы в рамки моральной дилеммы ставит под вопрос этичность самого теста.

Нельзя игнорировать масштабный выхлоп от этого проекта в медиа и среди обычных пользователей. Такие тесты, как дрова в костре, подогревают публичный алармизм. И в 2015 году, когда тест только придумали и запустили, и в 2018 году, когда вышел первый публичный отчет, происходили большие волны обсуждения моральной машины. Причем медиа подхватывает неоднозначность теста и драматизируют его последствия. Просто погуглите «этика беспилотных автомобилей», и вы достаточно быстро обнаружите примерно такое облако слов: «убивать», «давить», «убийца», «опасности». Конечно, медиа производят и более конструктивные или нейтральные идеи относительно этики беспилотников, но уровень публичного алармизма поддерживается именно благодаря драматизации нерешаемых дилемм. 

Есть и другие способы или попытки решать этические проблемы беспилотников. Ими занимаются социальные исследователи технологий, которые продолжают критиковать такие однобокие подходы, как машина морали. О них мы поговорим в следующий раз.

 

Оригинал материала доступен на «Популярной механике».

Напомним, что в Европейском университете проводится исследование «Беспилотные автомобили и общество: взаимодействие технологий, социоэкономических сценариев и регулирования в радикальной инновации». Узнать больше о проекте можно здесь.