Искусственный интеллект. Этика и право

Основные проблемы с использованием данных на уровне группы для оценки отдельных лиц

Фундаментальный философско-правовой вопрос заключается в том, допустимо ли определять свободу личности на основе данных о других в их группе. В сообществах ИИ прогнозирование отдельных лиц на основе данных на уровне групп известно как этическая ошибка. Хотя инструменты оценки риска используют данные о человеке в качестве входных данных, связь между этими входными данными и прогнозируемым результатом определяется шаблонами в обучающих данных о поведении других людей.

В контексте вынесения приговора подсудимые имеют конституционное право определять приговор на основании того, что они сделали сами, а не того, что сделали другие, имеющие сходство с ними. Эта обеспокоенность возникла, например, в деле Висконсин против Лумиса, где суд запретил использование показателей риска в качестве решающего фактора при принятии решений о свободе, отметив, что «молодой преступник, безработный, имеет ранний арест на раннем возрасте и историю неудачи в надзоре. Это приведет к средней или высокой оценке по шкале риска насилия, даже если преступник никогда не совершал насильственного преступления»[7].

Этическая ошибка особенно проблематична в системе уголовного правосудия, учитывая социальные предрассудки, которые отражаются в данных уголовного правосудия. Таким образом, вполне вероятно, что решения, принимаемые инструментами оценки риска, частично принимаются в зависимости от того, к какому защищенному классу может принадлежать физическое лицо, что вызывает серьезные опасения по поводу положения о равной защите.

В то время как существует статистическая литература о том, как решать технические проблемы, возникающие из-за этической ошибки, остается фундаментальный философский вопрос о том, допустимо ли задерживать людей на основании данных о других в их группе. По мере того, как все больше судов будут сталкиваться с вопросом, использовать ли инструменты оценки риска, этот вопрос должен быть в центре внимания и обсуждаться в качестве принципа первого порядка.

Что такое «смещение»?

В настройках статистического прогнозирования «смещение» имеет несколько перекрывающихся значений. Самое простое значение состоит в том, что прогноз, сделанный модельно, ошибочен в систематическом направлении – например, он предсказывает значение, которое слишком низкое в среднем или слишком высокое в среднем для населения в целом. Однако в литературе по справедливости машинного обучения термин «смещение» используется для обозначения ситуаций, когда прогнозируемые вероятности систематически либо слишком высоки, либо слишком низки для конкретных подгрупп населения. Эти подгруппы могут быть определены переменными защищенного класса (раса, пол, возраст и т. д.). Или другими переменными, такими как социально-экономический класс. Мы будем в первую очередь использовать термин «предвзятость» в этом боле узком смысле, который соответствует повседневному использованию термина, относящегося к разным суждениям о различных группах людей.

Смещение инструментов оценки риска может происходить из многих источников. Требование 1 (ниже) обсуждает смещение данных, которое вызвано несовершенным качеством данных, отсутствующими данными и смещением выборки. Требование 2 обсуждает смещение модели, которое проистекает пропущенной переменной смещения и прокси-переменных. Требование 3 обсуждает смещение модели, которое является результатом использования составных оценок, которые объединяют несколько различных предсказаний. В сочетании с озабоченностью по поводу точности и достоверности эти проблемы представляют собой серьезную проблему для использования инструментов оценки рисков в областях уголовного правосудия.

§ 3. Требование 1. Обучающие наборы данных должны измерять предполагаемые переменные

Наборы данных создают глубокие и нерешенные проблемы для достоверности статистических оценок риска. Почти во всех случаях ошибки и ошибки в измерениях и выборках не позволяют легко доступным наборам данных уголовного правосудия отражать то, что они должны были измерить. Создание валидных инструментов оценки риска потребовало бы (а) методологии для переоценки и устранения ошибок в обучающих данных, используя вторые источники правды, и (б) способа определить, был ли этот процесс действительным и успешным. Насколько нам известно, в настоящее время с такими методами не создаются инструменты оценки риска.

Статистическая проверка предсказания рецидивизма, в частности, страдает от фундаментальной проблемы: основная правда о том, совершил ли человек преступление, обычно недоступна и может быть оценена только с помощью сообщений от лиц о преступлениях или аресты. Поскольку цель для прогнозирования (фактическое совершение преступления) недоступна, заманчиво изменить цель инструмента на прогнозирование ареста, а не преступления. Однако если цель использования этих инструментов состоит в том, чтобы предсказать риск обвиняемого для общественной безопасности – как и большинство инструментов оценки риска – цель должна заключаться в том, чтобы предсказать, может ли обвиняемый совершить преступление, оправдывающее предварительное заключение, а не в том, является ли обвиняемый виновным (вероятность быть арестованным или осужденным за какое-либо преступление в будущем).

Одна из проблем, связанных с использованием такой несовершенной информации, заключается в том, что представители различных демографических групп останавливаются, обыскиваются, арестовываются, обвиняются и неправомерно осуждаются с очень разными показателями удельного веса в нынешней системе уголовного правосудия США. Кроме того, о различных типах преступлений сообщается и регистрируется с разной частотой, и частота сообщений может зависеть от демографических характеристик преступника и жертвы. Например, вполне вероятно, что все (или почти все) ограбления банков доводятся до сведения полиции. С другой стороны, аресты за хранение марихуаны общеизвестно предвзяты: чернокожие американцы гораздо чаще подвергаются арестам, чем белые, несмотря на схожие показатели использования. Таким образом, «данные об аресте, осуждении и лишении свободы наиболее подходящим образом рассматриваются как меры официального реагирования на преступное поведение», непропорционально распределены по определенным группам.

Оценка таких предубеждений может быть затруднена, хотя в некоторых случаях это возможно при использовании вторичных источников данных, собираемых отдельно от правоохранительных или правительственных учреждений. Например, данные об аресте или осуждении могут быть пересчитаны с использованием Национального опроса о виктимизации преступности, который предоставляет второй метод оценки демографических характеристик для типов преступлений, когда есть жертва, которая может видеть преступника, или опросы, которые отражают данные о совершении преступлений и арестах, такие как Национальные обследования молодежи. Выполнение такой переоценки будет тонкой статистической задачей, которую можно выполнить неправильно. Поэтому важным компонентом будет разработка метода, принятого сообществами машинного обучения и статистических исследований, для определения того, дала ли переоценка данных достоверные результаты, которые точно отражают мир, реальную ситуацию.

Помимо трудностей в измерении определенных результатов необходимы также данные, чтобы правильно различать разные причины одного и того же результата. Например, если просто посмотреть на результат неявки в суд, то обнаружим, что существует множество возможных причин такого исхода. Принимая во внимание, что существуют законные причины неявки в суд, которые не предполагают, что люди представляют опасность для общества (например, чрезвычайная ситуация в семье или ограниченные возможности транспортировки), объединение воедино всех лиц, которые не явились в суд, несправедливо увеличило бы вероятность того, что лица, которые, как правило, имеют более законные основания для того, чтобы не явиться в суд (например, люди с иждивенцами или ограниченные возможности транспортировки), были бы несправедливо задержаны. Таким образом, если целью инструмента оценки риска является прогнозирование того, будет ли обвиняемый избегать правосудия, необходимо будет собрать данные, которые будут различать лиц, которые намеренно и непреднамеренно не появляются в суде.

Учитывая, что валидность часто зависит от локального контекста, чтобы гарантировать полезность инструмента, где это возможно, данные, обсуждаемые выше, должны собираться в зависимости от юрисдикции, чтобы выявить значительные различия в географии, транспортировке и местных процедурах, которые влияют на эти результаты.

§ 4. Требование 2. Смещение в статистических моделях должно быть измерено и смягчено

Существует два широко распространенных заблуждения о предвзятости в системах статистического прогнозирования. Во-первых, модели будут отражать смещение только в том случае, если данные, с которыми они обучались, были неточными или неполными. Во-вторых, прогнозы можно сделать беспристрастными, избегая использования переменных, указывающих расу, пол или другие защищенные классы. Обе эти интуиции неверны на техническом уровне.

Возможно, это нелогично, но в сложных условиях, таких как уголовное правосудие, практически все статистические прогнозы будут смещены, даже если данные были точными, и даже если исключены такие переменные, как раса, если не предприняты конкретные шаги для измерения и смягчения смещения. Причиной является проблема, известная как опущенная переменная смещения. Опущенная переменная смещения возникает всякий раз, когда модель обучается на основе данных, которые не включают в себя все соответствующие причинные факторы. Отсутствующие причины исходной переменной, которые также вызывают интересующую входную переменную, называются смешанными переменными. Кроме того, включенные переменные могут быть прокси для защищенных переменных, таких как раса.

Частое вождение на вечеринки является смешанной переменной, потому что это вызывает как ночное вождение, так и риск несчастного случая. Модель, обученная на данных о времени суток, когда водители водят машину, будет демонстрировать предвзятость по отношению к людям, работающим в ночные смены, потому что это сопоставит риск вождения для сторон с риском вождения ночью.

На диаграмме также указаны переменные посредники на работе: частота вождения в ночное время является прокси (удаленный) – сигналом, когда вы едете на вечеринки, для вождения в нетрезвом состоянии. Это также прямой прокси для рабочих ночных смен. В результате, хотя нецелесообразно взимать с кого-то более высокие страховые взносы просто потому, что они работают в ночные смены, это является результатом в этом случае из-за включения прокси-переменной частоты движения в ночное время.

Подобные сети доверенных лиц применимы к оценкам преступного риска, исходя из наблюдаемых входных переменных, таких как вопросы опроса, спрашивающие «Сколько ваших друзей/ знакомых когда-либо арестовывали?» Или «В вашем районе некоторые из ваших друзей или членов семьи были жертвами преступления?», которые являются прокси для гонки. Таким образом, трудно отделить использование инструментов оценки риска от использования факторов, защищенных конституцией, таких как раса, чтобы делать прогнозы, и необходимы меры по смягчению этого смещения на уровне модели.

Методы смягчения предвзятости

Существует множество возможных статистических методов, которые пытаются исправить смещение в инструментах оценки риска. Правильный метод применения будет зависеть оттого, что означает, что инструмент является «справедливым» в конкретном приложении, так что это не только технический вопрос, но и вопрос права, политики и этики. Хотя не существует единого универсального решения проблемы предвзятости, ниже приведены некоторые из возможных подходов, которые могут быть уместны в контексте прогнозов оценки риска в США.

Первый подход состоит в том, чтобы разработать модель для удовлетворения требования «равных возможностей», что означает, что ложноположительные показатели сбалансированы по некоторому набору защищенных классов (в контексте рецидивизма они будут означать вероятность того, что кто-то, кто прогнозирует отсутствие рецидива, неверно сделает этот прогноз). Неравные ложноположительные показатели особенно проблематичны в системе уголовного правосудия, поскольку они подразумевают, что лица, которые не часто совершают рецидив в одной демографической группе, чаще незаконно задерживаются, чем лица, не являющиеся рецидивистами в другой демографической группе (группах). Одним из предостережений к этому подходу является то, чтобы защищенные группы имели идентичные показатели. Таким образом, если используется коррекция равных возможностей, то необходимо оценить различия в общей точности.

Второй подход заключается в установлении приоритетов при создании моделей, в которых прогностическое соотношение баллов одинаково для разных демографических групп. Это свойство известно как «калибровка в группах» и имеет преимущество, заключающееся в том, что оценки становятся более понятными для всех групп. Калибровка внутри групп повлечет, например, то, что люди с показателем 60 %, имеют 60 % шанс повторного повторения, независимо от их демографической группы. Проблема с этим подходом состоит в том, что обеспечение прогнозируемого паритета достигается за счет меры равных возможностей, описанной выше. Например, инструмент COMPAS, который оптимизирован для калибровки внутри групп, подвергся критике за его несопоставимые ложноположительные показатели (алгоритм COMPAS к 2019 году использовался в 10 штатах США для определения меры пресечения преступников). Фактически ProPublica обнаружила, что даже при контроле за предыдущими преступлениями, будущим рецидивом, возрастом и полом, черные обвиняемые имели на 77 процентов больше шансов получить более высокие оценки риска, чем белые обвиняемые. Это указывает на то, что откалиброванные в группе инструменты оценки риска могут по-разному влиять на людей, не совершающих рецидивы, в зависимости от их расы.

Третий подход включает использование методов причинно-следственных связей для формализации допустимых и недопустимых причинно-следственных связей между переменными и прогнозирования с использованиемтолько допустимых путей. Преимущество этого подхода заключается в том, что он формально учитывает разницу между корреляцией и причинно-следственной связью и разъясняет причинные предположения, лежащие в основе модели. Он также удаляет только корреляцию с защищенным классом, которая возникает из-за проблемных связей между переменными, сохраняя больше информации из данных. Недостатком этого подхода является то, что он требует от создателя инструмента хорошего понимания причинно-следственных связей между соответствующими переменными, поэтому для создания действительной причинно-следственной модели необходим дополнительный предметный опыт. Кроме того, инструментальщик должен определить, какие причинно-следственные связи являются проблематичными, и которые не являются. Таким образом, действительность также зависит от правильного суждения создателя инструмента.

Учитывая, что некоторые из этих подходов находятся в напряжении друг с другом, невозможно одновременно оптимизировать их все. Тем не менее, эти подходы могут выделить важные вопросы справедливости, которые следует учитывать при оценке инструментов. Например, даже при том, что, как правило, невозможно одновременно выполнить калибровку внутри групп и обеспечить равные возможности (методы № 1 и № 2 выше) с данными уголовного правосудия, было бы разумно избегать использования инструментов, которые либо имеют чрезвычайно несопоставимый прогностический паритет в демографических данных (т. е. плохая калибровка внутри групп) или крайне разрозненные ложноположительные показатели по демографии (т. е. низкий уровень равных возможностей).

Принимая во внимание, что каждый из этих подходов включает в себя компромиссные решения, также целесообразно использовать несколько различных методов и сравнивать результаты между ними. Это дало бы ряд предсказаний, которые могли бы лучше информировать принятие решений. Кроме того, подходящие пути для рассмотрения включают в себя своевременные, должным образом обеспеченные ресурсами индивидуализированные слушания, а не инструменты машинного обучения, разработку анализа затрат и выгод, придающего явное значение предотвращению разрозненного воздействия, или задержку развертывания инструмента до появления дополнительных рядов высококачественных данных, которые могут быть собраны, чтобы облегчить более точные и менее предвзятые прогнозы.

§ 5. Требование 3. Инструменты не должны объединять несколько разных предсказаний

Инструменты оценки риска не должны давать составные оценки, которые объединяют прогнозы различных результатов, для которых подходят различные вмешательства. Другими словами, инструмент должен прогнозировать конкретный риск, который он рассчитывает измерить, и производить отдельные оценки для каждого типа риска (в отличие от единой оценки риска, отражающей риск множественных результатов). Например, инструменты оценки риска не должны связывать риск неявки ответчика на назначенную дату суда с риском повторного задержания. Однако многие существующие инструменты оценки риска до суда делают именно это: они выдают единую оценку риска, которая представляет риск неявки или повторного возникновения. В некоторых случаях это может нарушать местное законодательство. Во многих юрисдикциях в качестве основания для предварительного заключения под стражу допускается только одна причина. И независимо от правовой ситуации гибридный прогноз неуместен по статистическим соображениям.

Различные причинные механизмы управляют каждым из явлений, которые объединены в гибридных оценках риска. Причины того, что кто-то не явится в суд, не будет повторно арестован и/или не будет осужден за будущее преступление, очень различны, поэтому высокий балл не будет легко интерпретируемым и объединит людей, которые, вероятно, имеют менее опасный исход (неявка в суд) с более опасными исходами (осуждение за будущее преступление). Кроме того, с точки зрения статистической достоверности прошлые обвинительные приговоры за ненасильственные преступления, которые с тех пор были декриминализованы (например, хранение марихуаны во многих штатах), возможно, следует рассматривать иначе, чем другие виды осуждений, если цель состоит в том, чтобы предсказать будущее преступление.

Более того, для каждого из этих различных явлений подходят разные виды вмешательства. Инструменты оценки риска должны использоваться только в том конкретном контексте, для которого они предназначены, в том числе на конкретной стадии уголовного процесса и для конкретной группы населения, для которой они должны были предсказать риск. Например, потенциальный риск не явиться к дате суда на досудебной стадии не должен иметь никакого отношения к слушанию приговора. Аналогично, прогнозирование рисков для определенных групп населения, таких как несовершеннолетние, отличается от прогнозирования рисков для населения в целом.

Инструменты оценки риска должны иметь четкое представление о том, какое из этих многочисленных предсказаний они делают, и должны быть предприняты шаги для защиты от объединения разных прогнозов и использования оценок риска в неподходящих контекстах.

Проблемы интерфейса человек-компьютер

В то время как инструменты оценки риска предоставляют информацию и рекомендации для процессов принятия решений, окончательный субъект по принятию решений все еще находится в руках людей. Судьи, судебные клерки, сотрудники досудебных служб, сотрудники службы пробации и прокуроры могут использовать оценки рисков для определения своих решений. Таким образом, критические проблемы взаимодействия человека с компьютером также должны учитываться при рассмотрении вопроса об использовании инструментов оценки риска.

Одной из ключевых проблем инструментов принятия статистических решений является явление предвзятости автоматизации, когда информация, представляемая машиной, рассматривается как надежная по своей сути и выше скептицизма. Это может привести к тому, что люди будут чрезмерно полагаться на точность или правильность автоматизированных систем. В деле Висконсин против Лумиса косвенным образом решалась проблема предвзятости автоматизации, требуя, чтобы любой отчет о расследовании присутствия, содержащий оценку риска COMPAS, сопровождался письменным заявлением об отказе в том, что оценки могут быть неточными и были показаны для разносторонней классификации правонарушителей. Хотя раскрытие информации об ограничениях инструментов оценки риска является важным первым шагом, его все же недостаточно. Со временем существует риск того, что судьи приучатся к длинному языку раскрытия, повторяемому в начале каждого доклада. Кроме того, раскрытия не дают четкого представления о том, как, если судьи вообще должны, интерпретировать или понимать практические пределы оценок риска.

В этом разделе предпринята попытка проиллюстрировать, как защититься от предвзятости автоматизации и других критических проблем взаимодействия человека с компьютером, обеспечив, чтобы (1) инструменты оценки риска легко интерпретировались пользователями-пользователями, (2) пользователи инструментов оценки риска получают информацию о неопределенности, стоящей за инструментами, прогнозы и (3) адекватные ресурсы выделяются для финансирования надлежащего обучения использованию этих инструментов.

§ 6. Требование 4. Предсказания и способы их составления должны легко интерпретироваться

Хотя адвокаты сосредоточили свое внимание на упомянутых выше проблемах предвзятости в оценках прогноза риска, один из часто пропускаемых аспектов справедливости – это способ перевода оценок риска для пользователей-людей. Разработчики и юрисдикции, внедряющие инструменты оценки риска, должны гарантировать, что инструменты передают свои прогнозы простым для пользователей способом и иллюстрируют, как эти прогнозы делаются. Это означает, что интерфейсы, представленные судьям, секретарям, юристам и ответчикам, должны быть четкими, легко понятными и не вводить в заблуждение.

Интерпретируемость предполагает предоставление пользователям понимания взаимосвязи между входными функциями и выходными прогнозами. Мы должны предостеречь, что это может означать не ограничение модели «интерпретируемой», но менее точной математической формой, но вместо этого использование методов, которые обеспечивают отдельные интерпретации для более сложных предсказаний.

Предоставление интерпретаций для прогнозов может помочь пользователям понять, как каждая переменная влияет на прогноз и насколько чувствительна модель к определенным переменным. Это крайне важно для обеспечения того, чтобы лица, принимающие решения, были последовательны в своем понимании того, как работают модели и производимые ими прогнозы, и чтобы неправильное толкование баллов отдельными судьями не приводило к несоразмерному применению правосудия. Поскольку интерпретируемость является свойством инструментов, используемых людьми, она требует рассмотрения использования оценок риска в контексте и зависит от того, насколько эффективно они могут быть использованы в качестве инструментов пользователями.

В то же время разработчики моделей должны следить за тем, чтобы интуитивная интерпретация не противоречила предполагаемому прогнозированию риска. Например, судьи или другие пользователи могут интуитивно предположить, что упорядоченные категории имеют одинаковый размер, представляют абсолютные уровни риска, а не относительные оценки, и охватывают весь спектр приблизительных уровней риска. Таким образом, по 5-балльной шкале естественная интерпретация будет состоять в том, что один балл подразумевает риск повторного совершения преступления от 0 % до 20 % (или другой интересный результат), категория 2 – риск от 21 % до 40 % и т. д.

В одном исследовании сравнивался инструмент оценки риска до суда, который преобразует оценки риска в 5-балльную шкалу риска, с фактической вероятностью результата (в данном случае повторный арест, насильственный повторный арест, неявка и/или отзыв залога). Только 35 % обвиняемых, отнесенных к группе с самым высоким уровнем риска, не явились на суд или были повторно арестованы до суда. Вероятности неявки и повторной оценки для всех уровней риска были в пределах интуитивного интервала для самого низкого уровня риска. Аналогичным образом существуют также значительные пробелы между интуитивным и правильным толкованием категорий риска в инструменте предварительной оценки Колорадо. Чтобы устранить эти недостатки, юрисдикциям необходимо будет собирать данные и проводить дальнейшие исследования по выбору пользовательского интерфейса, отображению информации и психологическим реакциям пользователей на информацию о неопределенности прогноза.

§ 7. Требование 5. Инструменты должны давать достоверные оценки для своих прогнозов

Важным компонентом любого статистического прогноза является неопределенность, лежащая в его основе. Для того чтобы пользователи инструментов оценки риска могли правильно интерпретировать свои результаты, крайне важно, чтобы отчеты об их прогнозах включали перечни ошибок, доверительные интервалы или другие аналогичные признаки надежности. Например, инструменты оценки риска часто дают оценку, отражающую вероятность повторного совершения преступления, или сопоставление этих вероятностей с уровнями (например, «высокий», «средний» и «низкий» риск). Эта информация сама по себе, однако, не дает пользователю уверенности в уверенности модели в своем прогнозе. Например, даже если модель откалибрована таким образом, что результат, такой как «высокий риск», соответствует «60 % вероятности повторного совершения преступления», неясно, уверен ли инструмент в том, что ответчик имеет вероятность повторного совершения правонарушения между 55 % и 65 %, со средним значением 60 %, или если инструмент уверен только в том, что у ответчика есть вероятность повторного совершения правонарушения между 50 % и 90 %, при среднем значении 60 %. В первом случае толкование того, что ответчик имеет 60-процентную вероятность повторного совершения правонарушения, является гораздо более разумным, чем в последнем случае, когда вокруг прогноза существует огромная неопределенность.

По этой причине инструменты оценки риска не должны использоваться, если они не способны обеспечить хорошие показатели достоверности их собственных прогнозов, как в целом, так и для конкретных лиц, на которых они используются. Существует много источников неопределенности в прогнозах рецидива преступлений, и в идеале раскрытие неопределенности в прогнозах должно охватывать как можно больше таких источников. Это включает в себя следующее:

• неопределенность из-за размера выборки и наличия выбросов в наборах данных. Этот тип неопределенности может быть измерен с использованием начальных доверительных интервалов, которые обычно используются технологическими компаниями для оценки предсказательной силы моделей перед развертыванием;

• неопределенность относительно наиболее подходящего смягчения для смещения модели, как обсуждалось в Требовании 2. Одной из возможностей будет оценка результатов различных корректировок справедливости как выражения верхних и нижних границ возможных «справедливых» прогнозов;

• неопределенность в результате смещения выборки и других фундаментальных проблем с наборами данных, как обсуждалось в Требовании 1. Это сложный вопрос для решения, но одним из способов решения этой проблемы будет поиск или сбор новых высококачественных вторичных источников данных для оценки неопределенности из-за смещения выборки и других проблем с обучающими наборами данных;

пользовательские интерфейсы для удовлетворительного отображения и передачи неопределенности пользователям в некоторых отношениях также являются открытой проблемой, поэтому учебные курсы, которые мы предлагаем в Требовании 6, должны специально тестировать и помогать пользователям выносить суждения при моделировании этой неопределенности.

§ 8. Требование 6. Пользователи инструментов оценки риска должны посещать тренинги о характере и ограничениях инструментов

Независимо от того, как результаты оценки риска объясняются или представляются, сотрудники служб предварительной оценки должны быть обучены тому, как правильно кодировать данные о лицах в систему. Человеческая ошибка и отсутствие стандартизированных передовых методов для ввода данных могут иметь серьезные последствия для качества данных и достоверности прогнозирования рисков в будущем.

В то же время судьи, адвокаты и другие соответствующие заинтересованные стороны также должны пройти тщательное обучение тому, как интерпретировать полученные оценки рисков. Для того чтобы любой такой инструмент использовался надлежащим образом, судьи, адвокаты и работники судов должны проходить регулярное обучение для понимания функции самого инструмента и того, как интерпретировать классификации рисков, такие как количественные оценки или более качественные оценки «низкий /средний/ высокий». Эти тренинги должны касаться значительных ограничений оценки, частоты ошибок, интерпретации баллов и того, как оспаривать или апеллировать к классификации рисков. Скорее всего, оно должно включать в себя базовую подготовку по пониманию доверительных интервалов. Требуются дополнительные исследования о том, как эти инструменты оценки риска основываются на человеческих решениях, чтобы определить, какие формы обучения будут поддерживать принципиальное и обоснованное применение этих инструментов и где существуют пробелы в текущей практике.

Управление, прозрачность и подотчетность

Поскольку инструменты оценки рисков дополняют судебные процессы и представляют собой реализацию решений местной политики, юрисдикции должны нести ответственность за их управление. Важно отметить, что они должны оставаться прозрачными для граждан и подотчетными процессу выработки политики. Такое управление требует

(1) заинтересованности и широкого участия общественности в разработке и контроле таких систем;

(2) прозрачность данных и методов, используемых для создания этих инструментов; (3) раскрытие соответствующей информации ответчикам, чтобы позволить им оспаривать решения, основанные на этих инструментах; и (iv) предварительное развертывание и текущая оценка валидности, соответствия цели и роли инструмента в рамках более широкой системы правосудия

§ 9. Требование 7. Директивные органы должны обеспечить, чтобы цели государственной политики должным образом отражались в этих инструментах

Использование инструментов оценки риска может скрыть и скрыть от общественности основные политические решения, касающиеся уголовного правосудия. Они включают выбор того, в какой степени общественный риск перевешивает значительный вред задержания для обвиняемого и его семьи, и насколько определенным должен быть риск, прежде чем система уголовного правосудия будет действовать в отношении него (т. е. насколько точным, обоснованным и непредвзятым прогноз должен быть до того, как на него можно положиться, чтобы лишить человека свободы). Использование этих инструментов также включает выбор характера и определения защищаемых категорий и того, как они используются. Кроме того, должны быть приняты важные решения о том, как такие инструменты взаимодействуют с мерами, направленными на реабилитацию без лишений свободы, такими как меры отвлечения или предоставления социальных услуг.

Одним из ключевых примеров того, как, казалось бы, технические решения на самом деле являются политическими решениями, является выбор порогов для содержания под стражей. Например, в калифорнийском законодательстве SB 10 будет создана группа для установления пороговых значений, которые определяют вероятностный риск как «низкий», «средний» или «высокий» в случае неявки в суд или совершения другого преступления, представляющего риск для общественной безопасности. Между тем Закон о первом шаге (принят по инициативе президента США Д.Трампа в 2018 году – о тюремной реформе в США) требует, чтобы Генеральный прокурор разработал систему оценки рисков для классификации заключенных как имеющих минимальный, низкий, средний или высокий риск совершения другого преступления в будущем. Выбор этих порогов в конечном итоге определит, сколько людей задержано и освобождено.

Пороговые значения риска, подобные тем, которые предусмотрены Законом о первом шаге, являются политическим выбором, который необходимо выбирать в отношении более широкого процесса уголовного правосудия, конкретных целей политики в области уголовного правосудия и соответствующих данных для информирования этих целей. Политики, как на уровне штата, так и на федеральном уровне должны решить, какие компромиссы следует сделать, чтобы обеспечить справедливые результаты и снизить социальные издержки содержания под стражей. Например, если основной целью является сокращение массового лишения свободы в системе уголовного правосудия, пороговые значения должны быть установлены таким образом, чтобы число лиц, отнесенных к категориям повышенного риска, уменьшилось. Помимо сбора информации от соответствующих заинтересованных сторон, органам, устанавливающим пороги (будь то законодательные органы, комиссии или другие учреждения), следует практиковать разработку политики на основе фактических данных, основанную на актуальных и своевременных данных о преступности.

§ 10. Требование 8. Конструкция инструмента, архитектура и данные обучения должны быть открыты для исследований, анализа и критики

Инструменты оценки риска воплощают важные решения государственной политики, принимаемые правительствами, и должны быть такими же открытыми и прозрачными, как и любой закон, постановление или судебная норма. Таким образом, правительства не должны использовать какие-либо собственные оценки рисков, которые основаны на требованиях коммерческой тайны для предотвращения прозрачности.

В частности, учебные наборы данных, архитектуры, алгоритмы и модели всех рассматриваемых инструментов для развертывания должны быть широко доступны для всех заинтересованных исследовательских сообществ, таких как статистические, компьютерные, общественные, государственные, юридические и криминологические, чтобы они могли оценить их до и после развертывания.

Большая часть технической исследовательской литературы о справедливости, появившейся в последние два года (2017–2018 гг.), была результатом новаторской работы Pro Publica по публикации единого набора данных, связанного с инструментом оценки рисков Northpointe COMPAS, который был получен по запросам публичных записей в округе Бровард, штат Флорида. Публикация таких наборов данных позволяет проводить независимые исследования и публичные дискуссии, необходимые для оценки их эффективности.

Однако важно отметить, что когда такие наборы данных используются совместно, следует использовать соответствующие методы деидентификации, чтобы гарантировать, что непубличная личная информация не может быть получена из наборов данных. Принимая во внимание все более изощренные методы триангуляции (методы вычисления местонахождения в социальном мире), могут потребоваться дополнительные меры, такие как договорные условия, когда получатели используют данные только для конкретных целей, и что после достижения этих целей они удаляют свою копию набора данных.

§ 11. Требование 9. Инструменты должны поддерживать сохранение и воспроизводимость данных, чтобы обеспечить оспаривание и вызовы

Чтобы обвиняемые могли оспаривать решения, принятые с помощью инструментов оценки рисков, они должны иметь доступ к информации о том, как делаются прогнозы инструментов. Как обсуждалось выше, существует много потенциальных технических проблем, связанных с использованием этих инструментов, в частности, в отношении предвзятости. Учитывая состязательный характер системы уголовного правосудия США, которая зависит от обвиняемых и их адвокатов, выдвигающих любые аргументы в их пользу, отказ в предоставлении ответчикам возможности доступа к информации о том, как принимаются эти решения, препятствует их способности оспаривать эти решения.

Информация индивидуального уровня, используемая в оценках, должна быть записана в контрольном журнале, который предоставляется ответчикам, адвокатам и судьям. Такие контрольные записи должны поддерживаться в неизменяемой форме для последующего анализа, чтобы аудиторы могли получить воспроизводимый расчет уровня риска для данного лица. Ответчики также должны иметь возможность оспаривать любые неточности во входной информации или выводы в результирующей классификации рисков и представлять дополнительную смягчающую информацию. Это особенно важно, учитывая возможность манипулирования инструментами оценки рисков. Например, оценки риска часто опираются на вопросники, предназначенные для арестованных, что дает возможность для злоупотреблений со стороны администраторов, что иллюстрируется случаями «подбора критериев». Сравнительный анализ, вероятно, является наилучшим способом защиты от таких манипуляций. Посредством этих процессов ответчики могут продемонстрировать, насколько применимы и надежны оценки риска в зависимости от их конкретных обстоятельств.

§ 12. Требование 10. Юрисдикции должны нести ответственность за оценку, мониторинг и аудит этих инструментов после развертывания

Юрисдикции должны периодически публиковать независимый обзор, оценку алгоритмического воздействия или аудит всех инструментов оценки риска, которые они используют для проверки того, что требования, перечисленные в этом отчете, были выполнены. Последующие аудиты должны будут регулярно проверять результаты и работу системы. Такие процессы проверки также должны быть локализованы, поскольку условия криминала, реагирования правоохранительных органов и культуры среди судей и служащих являются местными явлениями. В идеале эти процессы должны осуществляться при поддержке персонала и в судебных органах, а также при привлечении внешних экспертов.

Чтобы обеспечить прозрачность и подотчетность, независимый внешний орган (такой как совет по рассмотрению) должен быть ответственным за контроль аудита. Этот орган должен состоять из юридических, технических и статистических экспертов, в настоящее время и ранее заключенных лиц, государственных защитников, прокуроров, судей и организаций по гражданским правам, среди других. Эти проверки и их методология должны быть открыты для публичного рассмотрения и комментирования. Чтобы снизить риски для конфиденциальности, опубликованные версии этих аудитов должны быть отредактированы и достаточно ослеплены, чтобы предотвратить деанонимизацию (привязки анонима к конкретной личности).

В настоящее время проблемой для реализации этих проверок является нехватка данных, необходимых для оценки последствий использования этих инструментов. Когда некоторые партнеры PAI пытались оценить последствия законодательного акта об оценке риска в штате Калифорния, они обнаружили неадекватные данные о количестве лиц, содержащихся под стражей до суда, в Калифорнии и не смогли определить данные или исследования, чтобы понять, как определяется определение низкого, среднего и высокого риска и их пороговые значения. Естественно, это может повлиять на то, сколько человек задержано или освобождено до суда. Аналогичным образом, для оценки или исправления инструментов и данных для обучения на предмет ошибок и предубеждений требуются более точные данные о дискриминации в различных точках системы уголовного правосудия. Чтобы понять влияние существующих инструментов оценки риска, будь то досудебное разбирательство, вынесение приговора или испытательный срок, судебные системы должны собирать данные о досудебных решениях и результатах.

Для выполнения этих обязанностей всякий раз, когда законодательные органы или судебные органы принимают решение о предоставлении или приобретении инструментов оценки риска, эти органы должны одновременно обеспечить сбор данных после развертывания, предоставлять ресурсы для этого адекватным образом и поддерживать открытый анализ и анализ инструментов в развертывание. Это требует как (1) выделения или ассигнования достаточного финансирования для этих нужд, так и (2) институциональной приверженности набору (или заключению контрактов) со статистическими/ техническими и криминологическими экспертами для обеспечения надлежащего сбора и анализа данных.

§ 13. Итоговые положения

Усилия по переводу системы уголовного правосудия США на разработку политики, основанной на фактических данных, и принятие решений, ориентированных на общественную безопасность, заслуживают похвалы и чрезвычайно важны. Исходя из исторических и международных сопоставлений, в США содержится аномально большое количество людей (в абсолютных цифрах, на душу населения и на уровень преступности). Таким образом, существенные реформы для решения этой проблемы являются обоснованными и безотлагательными на основе имеющихся данных. Этот контекст привел к принятию инструментов оценки риска, и крайне важно отметить, что ничто в этом отчете не должны толковаться как призыв к замедлению реформы уголовного правосудия и усилий по смягчению последствий массового лишения свободы.

Скорее, цель исследования – помочь политикам принимать обоснованные решения об инструментах оценки рисков, которые в настоящее время находятся в развертывании и требуются в соответствии с законодательными мандатами, и о возможных ответных мерах политики, которые они могли бы предпринять. Один из подходов заключается в том, что юрисдикции должны прекратить использование инструментов в решениях по задержанию лиц, пока не будет доказано, что они преодолевают многочисленные проблемы с действительностью, предвзятостью, прозрачностью, процедурой и управлением, которые в настоящее время стоят перед ними. Этот путь не должен замедлять общий процесс реформы уголовного правосудия. Фактически, несколько групп защиты интересов предложили альтернативные реформы, которые не представляют те же проблемы, что и инструменты оценки риска. Соответственно, выбор не просто между существующими системами, такими как залог наличными, и более новыми алгоритмическими системами.

Другой вариант – начать проект по улучшению инструментов оценки рисков. Это потребует закупки достаточно обширных и репрезентативных данных, разработки и оценки методов повторного взвешивания и обеспечения того, чтобы инструменты оценки риска были предметом открытых, независимых исследований и проверки. Десять требований, изложенных в этом отчете, представляют собой минимальный стандарт для разработчиков и политиков, пытающихся согласовать свои инструменты оценки рисков и то, как они используются на практике, с обоснованными целями политики.

Хотя широкое использование оценок рисков продолжается, административные органы и законодательные органы, ответственные за развертывание, несут ответственность за установление стандартов для инструментов, которые они распространяют. В дополнение к десяти требованиям, которые мы изложили в этом отчете, юрисдикциям также потребуется собрать и использовать значительный опыт в областях машинного обучения, статистики, взаимодействия человека с компьютером, криминологии и права для выполнения этой задачи. На данном этапе мы должны подчеркнуть, что мы не считаем, что какие-либо существующие инструменты будут соответствовать должным образом установленным стандартам по всем этим пунктам, и в случае Требования 1 для выполнения надлежащим образом установленного стандарта потребуются значительные новые усилия по сбору данных.

PAI считает, что установление стандартов в этой области является важной работой для политиков из-за огромного импульса, который законодательство придает развертыванию инструментов ИИ для оценки рисков. Но многие из наших членов по-прежнему обеспокоены тем, что стандарты могут быть установлены с целью их простого соблюдения, а не для того, чтобы на самом деле решать глубокие статистические и процедурные проблемы, присущие использованию таких инструментов для обоснования решений о задержании. Было бы заманчиво установить стандарты, которые затушевывают сложные проблемы точности, достоверности и систематической ошибки, и продолжать развертывание инструментов без учета альтернативных реформ.

Для исследователей ИИ задача предвидения и смягчения непредвиденных последствий и злонамеренного использования стала одной из центральных проблем нашей области. Для этого требуется очень осторожный подход к проектированию и проектированию систем, а также тщательное рассмотрение способов их возможного сбоя и вреда, который может возникнуть в результате. Уголовное правосудие является областью, в которой необходимо проявлять максимальную осторожность и смирение при использовании статистических инструментов. Мы обеспокоены тем, что сторонники этих инструментов не смогли должным образом удовлетворить минимальные требования для ответственного использования до широкого распространения.

В дальнейшем мы надеемся, что этот отчет вызовет более глубокое обсуждение этих проблем с использованием инструментов оценки рисков и стимулирует сотрудничество между политиками, исследователями и группами гражданского общества для достижения столь необходимых стандартов и реформ в этой области.

Раздел IV

Основные направления правового регулирования ИИ[8]

§ 1. Вводные положения

Исследование «European Tech Insights 2019», проведенное Университетом управления в Мадриде (IE)[9], показало, что более двух третей европейцев всех возрастов считают, что новые технологии, если они не будут должным образом контролироваться, принесут больше вреда, чем пользы для общества в ближайшее десятилетие. Это опасение, в свою очередь, ведет к растущему сопротивлению инновациям и требованию ужесточить регулирование. Подавляющее большинство опрошенных европейцев ожидают, что их правительства введут новые законы и налоги, чтобы ограничить автоматизацию и предотвратить замещение рабочих мест, даже если это повлечет за собой остановку технического прогресса. Эти результаты согласуются по странам, возрастным группам, полам и идеологиям.

Исследование проводилось в 8 европейских странах – Франции, Германии, Ирландии, Италии, Испании, Нидерландах и Великобритании.

Большинство опрошенных граждан ЕС выступают за правительства, продвигающие политические меры по ограничению автоматизации бизнеса компаниями. Минимальные интервенционные меры по дополнительному налогообложению предприятий, которые сокращают рабочие места из-за автоматизации (67 %), предоставлению дополнительной поддержки тем, кто пострадал в результате потери рабочих мест (71 %), одобряются значительной частью населения, в то время как более решительные меры государственного вмешательства имеют еще более высокий уровень поддержки: 72 % опрошенных считают, что правительства должны установить ограничения на количество рабочих мест, которые могут быть заменены машинами на предприятиях. 74 % считают, что предприятиям следует разрешить замену только самых опасных или вредных для здоровья рабочих мест.

Подавляющее большинство европейцев ожидают, что правительства введут новые законы и налоги, чтобы ограничить автоматизацию и предотвратить замещение рабочих мест, даже если это приведет к замедлению экономического прогресса. Эти результаты согласуются по странам, возрастным группам, полам и, что особенно удивительно, идеологиям. И все же, подобные меры в настоящее время находятся вне политической дискуссии.

Одновременно расследование выявило парадокс, заключающийся в том, что, хотя общественность опасается технологических достижений, особенно что касается повышения уровня автоматизации, каждый четвертый европеец предпочитает, чтобы искусственный интеллект принимал важные решения по управлению их страной. В таких странах, как Нидерланды, Германия и Великобритания, этот процент еще выше: каждый третий житель выступает за это.

Исследование также показывает, что люди не только обеспокоены предстоящим технологическим преобразованием, но и считают, что учреждения, на которые возложен этот процесс, не справляются со своими обязанностями. Большинство опрошенных (60 %) считают, что система образования не обучает их решать проблемы, возникающие в связи с новыми технологиями.

Экспертная группа ЕС по искусственному интеллекту (ИИ) констатировала в феврале 2019 года принципиальное отличие политики, инвестиций, правового регулирования и практического использования ИИ в ЕС по сравнению с Соединенными Штатами и Китаем.

В отличие от США ЕС в гораздо большей степени привержен тщательному предварительному изучению долговременных политических, социально-психологических и поведенческих аспектов внедрения новых решений в сфере ИИ. ЕС также принципиально отличается подходом от Китая, поскольку ставит на первый план при разработке и внедрении ИИ безусловное соблюдение прав личности, меньшинств и в целом гражданского общества. В этом плане развитие ИИ в странах ЕС – это своеобразный третий путь эволюции ИИ по отношению к США и Китаю[10].

Этот подход в полной мере реализуется при реформировании Директивы об ответственности за качество ИИ и Директивы по развитию машинной инфраструктуры ИИ, а также совершенствовании программной базы. В качестве предварительного заявления Целевая группа CEPS констатирует, что применительно к подавляющему большинству программно-аппаратных решений в сфере ИИ она не видит необходимости внесения принципиально новых изменений в нормативные документы, регулирующие требования к программно-аппаратной базе ИИ. По мнению Группы, подавляющая часть программно-аппаратных решений в сфере ИИ не требует внесения принципиальных изменений в законодательства, нормативные требования и стандарты эксплуатации. Причина в том, что основная часть так называемых программно-аппаратных систем ИИ, используемых как в бизнесе, так и в сфере государственного управления, не представляют собой чего-то принципиально нового и отличного от ранее использованных пакетов статистического анализа больших данных. Лишь незначительная часть программно-аппаратных комплексов, в основном находящаяся сейчас в сфере экспериментальных, исследовательских и опытно-конструкторских разработок, по своим возможностям заметно отличаются от привычной компьютерной техники и программного обеспечения. Соответственно, главным направлением ИИ на сегодняшний день является не прокламируемая социальными медиа революция, а реальная эволюция, постепенное улучшение на основе больших данных, более мощных аппаратных средств и более разнообразных, чем раньше, статистических программ и программ по распознаванию.

Комиссия ЕС еще до принятия соответствующих законодательных решений указала на то, как ИИ может реально изменять поведение граждан, а также, как он может быть использован для социального инжиниринга недобросовестными акторами и организованной преступностью.

При рассмотрении действующего законодательства, и что более важно, при формировании законодательной базы разработки и использования ИИ Европейская Комиссия учитывала следующее:

• необходимость перейти от нарративной, описательной формы подготовительных материалов к данным, отражающим прогнозные перспективы и анализ рисков, связанных с использованием ИИ;