Искусственный интеллект. Этика и право

Представляется, что еще одним фактором, обеспечивающим триумф предсказательного софта в полиции, стало следующее обстоятельство. В подавляющем большинстве стран уже более 10 лет происходит сокращение бюджетов правоохранительных органов. Перед полицией, особенно на низовом уровне, во весь роста встала проблема сохранения высокой эффективности работы при снижении уровня ассигнований. Хорошо известно, что профилактика и предотвращение преступлений в подавляющем большинстве случаев эффективнее и дешевле, чем их расследование. Соответственно полиция с большей охотой занимается пресечением деятельности преступников на стадии подготовки правонарушения. При этом судебная система охотнее имеет дело с судебными спорами относительно уже совершенных преступлений. В подавляющем большинстве стран отсутствуют правовые нормы, связанные с серьезным наказанием за подготовку преступления. Это порождает в последние годы коллизии, когда во все возрастающем числе случаев люди, относительно которых полиция собрала неопровержимые доказательства по подготовке преступления, в конечном счете, избегают судебного наказания, поскольку судебные нормы ориентированы на уже совершенные, а не готовящиеся преступления.

По мнению экспертов ЕС, необходимо на уровне Европейской Комиссии начать дискуссию о целесообразности совершенствования европейского законодательства с упором на предотвращение, а не наказание преступлений. Если подобного рода дискуссию не провести, и не осуществить соответствующие меры, то зазор между деятельностью полиции и работой правоохранителей будет из года в год увеличиваться.

На сегодняшний день в Европе предиктивная аналитика в уголовных процессах, по сути, игнорируется судьями. В 2012 г. Кембриджский университет по собственной инициативе разработал и предоставил в распоряжение судебных работников и полиции инструменты оценки риска повторных преступлений, так называемый HART. Исследования, проведенные в 2013–2017 гг., показали, что для низкоуровневой уличной преступности HART дает правильные прогнозы в 98 % случаев, а применительно к компьютерной и другой высокоуровневой преступности во впечатляющих 88 % случаев. Система в течение трех месяцев после освобождения из мест заключения дает прогноз рецидива на ближайшие два года. Достигнутые результаты поражают, поскольку не имеют аналогов в мире. Поэтому британские и голландские правоохранительные органы вовсю используют HART и надеются, что в ближайшем будущем повышенное внимание к лицам высокой группы риска удержит последних от новых преступлений. При этом судьи, в том числе и британские, отказались использовать HART как консультанта при вынесении приговоров. Общая позиция судей состоит в том, что правосудие слишком серьезный предмет, чтобы допускать в эту сферу ИИ.

HART – это единственный прогностический инструмент, используемый в настоящее время в Европе. Анализ показал, что ни в одной стране, кроме Франции в настоящий момент нет планов разработать мощный предиктивный инструмент, ориентированный на уголовные расследования. Есть основания полагать, что государства-члены ЕС уже в ближайшие годы будут все более и более отставать от Соединенных Штатов и Китая. В самой же Европе лишь три страны, ориентированные в основном на Соединенные Штаты, будут стараться реализовать прогностический уголовный софт. Это – Голландия, Латвия и Эстония, которые в основном будут использовать зарубежные разработки.

В 2018 г. в Соединенных Штатах имел место скандал, когда неправительственная организация Propublica раскрыла дискриминационный эффект алгоритма, используемого в программном обеспечении Compas. Целью софта является оценка риска рецидива на стадии, когда судья выносит приговор для отдельного лица. Аргумент противников системы состоял в том, что в алгоритм заложена гораздо большая вероятность рецидива для афроамериканцев и латинос, в том числе недавно получивших гражданство. В отличие от Европы, компания-разработчик софта совместно с Министерством юстиции США и правоохранительными органами заняли жесткую и неуступчивую позицию в дискуссии с активистами. Они сделали доступными для общественности все шаги алгоритма, вычисляющего коэффициент, и показали, что конечные значения риска зависят не от какой-то идеологической или иной дискриминации, а базируются исключительно на фактическом положении дел. Активистов же, превратившихся в лоббистов, общественное мнение, благодаря прессе, обвинило в попытках манипуляции американскими ценностями для того, чтобы сделать фактически неравным правосудие, создав преимущества для афроамериканцев и латинос в ущерб белым американцам.

§ 14. Проблемы использования прогнозов в уголовных делах

Как уже отмечалось, использование прогнозного инструментария в Европе заметно и все более отстает от ситуации в Северной Америке и странах Британского Содружества наций. Также установлено, что как сама полиция, так и общество гораздо активнее выступают и используют предиктивный полицейский софт в сравнении с судьями, в том числе с судьями в уголовных процессах.

Общеевропейской позицией является сегодня констатация, что ИИ дает огромные возможности полиции, но содержит и реальные риски, если ИИ используется без необходимых мер предосторожности и ограничений. Согласно результатам опроса парламентариев в девяти странах Европейского Союза, более 78 % из них активно ратуют за широкое использование предиктивного полицейского софта, особенно нацеленного на предупреждение преступлений. В то же время лишь 15 % опрошенных поддержали использование ИИ в судебной сфере, за исключением нормализации электронного документооборота, за который выступают все.

В комментариях высказывалась точка зрения, что в полиции использование ИИ нет альтернативы хотя бы потому, что это уже активно делает криминал. Что же касается судебной сферы, то здесь главное – обеспечить равенство сторон. На вопрос о том, не даст ли ИИ преимущества крупным юридическим фирмам, ответы в 85 % случаев были положительными. Самый неожиданный эффект – в том, что более половины парламентариев высказалось за мораторий использовании ИИ вообще в судебной сфере в ближайшие 15 лет.

Категорическими противниками активного использования ИИ в уголовных процессах являются сами судьи. Во Франции, которая является одной из самых продвинутых стран в использовании интеллектуального софта в судопроизводстве, лишь немногим более 15 % судей полагают, что ИИ им в ближайшие 10 лет необходим. Главным аргументом в пользу негативного отношения к ИИ является тот факт, что значительная часть специфических человеческих черт, таких как настроение, контекст, ценности, эмоции не могут быть оцифрованы, и соответственно не будут приниматься во внимание машиной. А именно эти факторы являются, по мнению судей, чрезвычайно важными при вынесении вердикта, особенно в уголовных процессах.

Существенно различаются позиции экспертов, специалистов и общественности относительно применения ИИ в правоохранительной деятельности и в уголовном судопроизводстве. Подавляющее большинство не только профессионалов, но и гражданских активистов, хотя и с оговорками, но поддерживают широкое использование ИИ в полиции. Это одобрение базируется на мнении, согласно которому инструменты ИИ являются не более чем вспомогательными компонентами работы следователя. Более того, полиция с самых первых годов своей институционализации старалась максимально использовать бумажные аналоги нынешнего ИИ, а именно бумажные архивы, досье на преступников и преступные группировки, фотографии, постоянно собирала информацию как опосредовано, так и путем внедрения осведомителей.

В современных западных обществах сложился консенсус относительно того, что работа полиции всегда по существу носила и носит информационный характер, включая поиск, хранение, обработку и анализ информации относительно готовящихся или совершенных преступлений. Будучи де факто с самых своих истоков информационным видом деятельности, полиция как нельзя лучше подходит для использования IT инструментария. Поэтому во всех странах, где для этого есть технологические и финансовые возможности, полиция вместе с разведкой и банковской сферой являются основными секторами внедрения передовых информационных технологий.

Что же до судопроизводства, то, по крайней мере, в государствах ЕС не только подавляющая часть активистов, но и самих работников судопроизводства рассматривают ИИ исключительно как помощника в работе с документами, включая их архивирование, поиск и т. п. Этому способствуют три обстоятельства.

Первое. По странным причинам в экспертном сообществе и общественном мнении сложилась фантастическая картина, что в будущем судопроизводством будет заниматься именно ИИ, в конечном счете, будет выносить приговоры и определять судьбы.

Второе принципиальное возражение против использования ИИ заключается, как описано выше, в том, что использование продвинутых информационных технологий, в том числе ИИ, подрывает равенство перед законом и состязательность судебных процессов.

Наконец, третья группа возражений против широкого использования ИИ в уголовном судопроизводстве имеет, если можно так выразиться, статистический характер. Профессионалы понимают, что, по сути, специализированный ИИ – это мощнейший вычислитель, обрабатывающий статистические данные. Соответственно использование предиктивной, особенно судебной аналитики, может привести к тому, что прошлое поведение определенной группы людей с конкретными параметрами будет, в конечном счете, решить судьбу отдельного человека. Каждый подсудимый, хотя и имеет определенные, общие с другим людьми, характеристики, но оказывается на судебной скамье в результате комбинации уникальных жизненных обстоятельств. Единичная судьба никак не связана и не коррелируется с групповой статистикой. Пожалуй, в западноевропейских государствах ЕС именно возможность статистических данных влиять на судьбы отдельных людей и является главным аргументом общественности против использования ИИ в судебной сфере.

§ 15. Потенциал и ограничения предиктивной судебной аналитики

По мнению экспертов ЭС, термин, пришедший из-за океана, «предиктивная судебная аналитика» необходимо отбросить, поскольку он неоднозначен и вводит в заблуждение. Гораздо лучше использовать термин «интеллектуальный аналитический судебный софт». Данный термин не вызывает нареканий у судей и общественности и принят в IT отрасли Европы.

Консенсусная точка зрения среди специалистов по софту для правоохранительной и судебной сфер состоит в следующем. Нейтральность алгоритмов – это миф. Машины еще не научились самостоятельно писать алгоритмы. Даже нейронные сети – это не самосовершенствующиеся программы, как многие считают, а программы, позволяющие менять оценку тех или иных факторов, используемых для распознавания чего-то, в зависимости от вновь поступающих данных. ИИ – это произведенное человеком устройство, выполняющее команды, которые записаны на созданных людьми искусственных языках для выполнения тех или иных расчетных алгоритмов, порожденных не машиной, а конкретным человеческим разумом. Т. е. все три главных компонента ИИ – это машины, языки и алгоритмы – созданы людьми.

Поскольку любые люди, и математики не исключение, имеют свои картины мира, взгляды, ценности, то так или иначе они отражают их в алгоритмах. Любой алгоритм, будучи порождением определенных математиков и разработчиков, несет в себе их внутренний мир. Когда люди выступают против ИИ, они в иррациональной форме демонстрируют свою неготовность вручить свою жизнь математику. Фактически замена судей алгоритмами не проходит в Европе, достаточно далекой от маркетингового бизнеса, потому, что ни государства, ни общество не готовы поменять профессионалов – судей, на математиков, которые ничего не понимают в законах. Все остальные соображения о боязни ИИ – это просто американские феномены, которые сами компьютерные фирмы используют для продвижения продукции.

10 лет назад никто не предлагал отказаться от компьютерных программ, например, для написания судебных документов или расчетов тех или иных данных. Ни одному здравомыслящему человеку не могла прийти в голову мысль наделять текстовой процессор World или таблицы Excel свойствами искусственного разума. В условиях экономической стагнации IT компании вложили гигантские, исчисляемые миллиардами долларов, средства в маркетинг, рекламу и заморочили голову потребителю появлением чего-то похожего на человеческий разум у машин. При этом за эти годы алгоритмика не изменилась, выросла лишь производительность компьютеров и появились впервые в истории человечества большие данные.

К сожалению, историческая форма использования интеллектуального софта в судебной сфере завела общество и судебную систему в дебри бессмысленных дискуссий об ИИ. Эксперты ЕС считают, что с этим положением необходимо покончить. Прежде всего, они предлагают на общеевропейском уровне провести серию конференций и круглых столов, собрав их вместе с разработчиками инструментов, юристами, работниками государственных органов, средств массовой информации, для того, чтобы выработать четкую, ясную, соответствующую реалиям и помогающую делу терминологию. Судебные советы, профессиональные ассоциации и коллегии адвокатов также должны принять активное участие в этих круглых столах. Необходимо покончить с ситуацией, когда в юридической сфере мелькают случайные или рекламные IT термины, затрудняющие использование передовых технологий.

Необходимо создать группы технического аудита и предоставить им право исследовать предлагаемые частным сектором как ИИ прогнозноаналитические и иные программы. Главная же задача состоит в определении на основе широких дискуссий конкретных участков работы и сфер, где в ближайшие годы наиболее эффективно использование интеллектуального прогнозно-аналитического софта в судопроизводстве.

Глава II

Европейская Этическая Хартия использования искусственного интеллекта в судебной и правоохранительной системах

Признавая возрастающую важность ИИ в современном обществе, включая ожидаемые выгоды, Европейская комиссия на 31 пленарном заседании 3–4 декабря 2018 года в Страсбурге приняла пять фундаментальных принципов, содержащихся в Европейской Этической Хартии, использования искусственного интеллекта в судебной и правоохранительной системах.

Хартия предназначена для руководства в работе государственных и частных заинтересованных сторон, ответственных за создание и внедрение ИИ и его компонентов в судебной и правоохранительной сферах (методы машинного интеллекта включают машинное обучение или любые другие способы обработки больших данных). Хартия также касается лиц, принимающих решения в сфере законодательной или нормативной базы, а также оказывающих связанные с этим услуги.

Хартия поддерживает использование методов и компонентов ИИ для повышения эффективности и качества правосудия и правоохранительной работы. Однако она обращает особое внимание на необходимость максимально ответственного подхода к этой деятельности, обеспечивающего полный учет прав личности, изложенных в Европейской Конвенции о правах человека и Конвенции о защите данных, а также других нормативных материалах, связанных с гражданскими правами личности.

Использование ИИ для обработки судебных решений и правоохранительной деятельности поможет повысить уровень раскрываемости преступлений, поднять уровень доказательности направляемых в судебные инстанции обвинительных заключений и обеспечить новый уровень обоснованности судебных решений за счет снижения количества ошибок при их вынесении.

Применение методов ИИ в уголовных делах должно сопровождаться особыми оговорками с тем, чтобы предотвратить дискриминацию на основе использования конфиденциальных данных и обеспечить гарантии справедливого судебного разбирательства для любого человека, вне зависимости от пола, возраста, гражданства и других характеристик.

Для систем ИИ, используемых в судебных и правоохранительных органах, особое значение имеет проведение их независимой внешней экспертизы на предмет исключения влияния на алгоритмы случайно или специально подобранных данных, которые могут привести к дискриминационным решениям[3].

Принципы Хартии должны регулярно применяться, контролироваться и оцениваться государственными и частными субъектами в целях постоянного совершенствования судебной и правоохранительной практики.

В этом отношении Европейская Комиссия рекомендовала, чтобы соответствующие субъекты регулярно проводили мониторинг хода практической реализации принципов Хартии. Независимые органы, упомянутые в Хартии, должны располагать результатами мониторинга и своевременно, под контролем соответствующих органов, вносить при необходимости изменения в программы ИИ, и установленные нормы применения ИИ в законодательной и правоохранительной деятельности.

Пять принципов Этической Хартии использования искусственного интеллекта в судебной и правоохранительной системах:

принцип первый – уважения фундаментальных прав. Необходимо убедиться, что разработка и использование инструментов и услуг ИИ совместимы с основными правами личности;

принцип второй – недискриминации. Уже на стадии разработки алгоритмов ИИ и больших данных, используемых для машинного обучения, необходимо блокировать возможность любой дискриминации между людьми или группами людей, которая может появиться в результате необдуманного использования статистических методов анализа необработанных больших данных;

принцип третий – качества и безопасности. В отношении разработки алгоритмов и использования данных, анализируйте источники больших данных, их структуру и содержание, а также необходимо использовать математические модели, разработанные на междисциплинарной основе, учитывающей не только прямые статистические корреляции, но исоциальные, культурные, экономические и другие факторы, вызывающие эти корреляции;

принцип четвертый – прозрачности. В судебной системе и правоохранительных органах ИИ может использоваться только в том случае, если его реализация обеспечивает прозрачность, включая доступность и понятность исходных больших данных и применение лишь тех типов нейронных сетей, в отношении которых внешний аудит может выяснить критерии распознавания тех или иных совокупностей[4];

принцип пятый – пользовательского контроля. При применении ИИ в судебной и правоохранительной сферах исключить нормативно предписывающий подход и обеспечить, чтобы все пользователи системы были информированы участниками и эксплуатировали ИИ только в том случае, если могут разобраться в алгоритмах и способах применения ИИ. В судебной системе также как в военной сфере не могут использоваться ИИ-черные ящики. Судебные работники всегда должны понимать и знать, на чем основываются выводы ИИ, которые предлагаются им как автоматизированное экспертное мнение.

§ 1. Принцип первый

Обработка судебных решений и данных должна служить четким целям и полностью соответствовать Европейской Конвенции о правах человека и Конвенции о защите персональных данных. (Конвенция о защите физических лиц в отношении автоматической обработки персональных данных ETSN108 с изменениями и дополнениями, внесенными в протокол CETSN223).

Когда инструменты ИИ используются для решения споров или в качестве инструмента помощи в принятии судебных решений, а также в правоохранительной деятельности, важно обеспечить, чтобы ИИ не подрывал гарантии права на доступ к судье, а также право на равенство сторон и уважения к состязательному судопроизводству. При использовании ИИ правоохранительными органами, при предоставлении материалов в суд у стороны защиты в рамках проведения справедливого судебного разбирательства должно быть право на получение обоснования, принятого с использованием ИИ решения вплоть до раскрытия используемых больших данных и применяемых алгоритмах их разработки.

Также необходимо обеспечить безусловное сохранение принципа верховенства закона и независимости судьи и процессе принятия решений в обстановке, когда ИИ становится инструментом, вовлеченным в судебный процесс на стадии сбора доказательств, либо в фазе самого судебного процесса. Во всех случаях на этапах разработки алгоритмов ИИ необходимо соблюдать этические принципы, гарантирующие равенство граждан перед законом. В случае несоблюдения этических принципов необходимо отказываться от пусть эффективных и совершенных, но не соответствующих этим принципам алгоритмов машинного обучения, нейронных сетей и других математических методов ИИ.

§ 2. Принцип второй

Учитывая внутренне присущую методам машинного обучения и нейронных сетей способность закреплять классификации или распознавание новых данных на основе ранее выявленных закономерностей, касающихся отдельных лиц или групп лиц, необходимо, чтобы государственные и частные заинтересованные стороны уже на стадии разработки программных средств ИИ для судебных и правоохранительных сфер заблокировали возможность дискриминации определенных групп, слоев и отдельных граждан в результате применения алгоритмов.

Особое внимание следует уделить как на этапе разработки, так и на этапе развертывания, проверке применяемых алгоритмов на избыточный учет при принятии решений таких факторов, как раса, этническое происхождение, социально-экономическое состояние, политические взгляды, социальные связи, членство в профсоюзах и т. п. Следует прямо запретить в алгоритмах ИИ, используемых в судебной и правоохранительной системах, использование генетических данных, а также биометрических данных, связанных со здоровьем, сексуальной жизнью и сексуальной ориентацией. В случае если такая дискриминация выявляется при проверке применения алгоритмов, необходимо вплоть до усовершенствования алгоритмов отказаться от использования ИИ[5].

Следует поощрять использование машинного обучения и междисциплинарного научного анализа для выявления фактического положения дел. Если фактическое положение дел может быть охарактеризовано как дискриминационная ситуация, то ИИ целесообразно максимально использовать как аналитический инструмент, а не инструмент поддержки принятия решений.

§ 3. Принцип третий

Разработчики модели машинного обучения должны иметь возможность широко использовать опыт работников судебной и правоохранительной систем, включая судей, прокуроров, юристов, следователей, оперативных работников и т. п., а также специалистов в области социальных наук, включая экономистов, социологов, психологов и т. п.

Для разработки ИИ, используемых в судебной и правоохранительной сферах, необходимо формировать смешанные проектные команды, реализующие междисциплинарный подход. При распределении подрядов на производство ИИ для судебной и правоохранительной сфер обязательным требованием должна быть сертификация разработчиков на прохождение курсов по этике ИИ.

Эффективность ИИ в значительной степени предопределяется качеством данных, используемых при машинном обучении. ИИ, применяемый в судебной и правоохранительной системах, должен обучаться на данных исключительно из сертифицированных источников.

§ 4. Принцип четвертый

Необходимо соблюдать баланс между интеллектуальной собственностью разработчиков на методы машинного обучения, используемые нейронные сети и т. п. и необходимостью обеспечения прозрачности, беспристрастности и отсутствия дискриминации в программах и алгоритмах ИИ.

Необходимо создать систему внешнего аудита программных средств ИИ. Целесообразно установить порядок, согласно которому обязательным условием использования ИИ в судебных и правоохранительных сферах является прозрачность их алгоритмической базы и объяснимость принятия решений на всех уровнях с целью недопущения использования дискриминационных факторов при распознавании объектов.

Наиболее предпочтительным является вариант полной технической прозрачности, когда в ИИ для судебной и правоохранительной сфер используют открытый исходный код, доступную документацию и человечески интерпретируемые алгоритмы нейронных сетей. Система также должны быть объяснена простым и понятным языком, прежде всего, для описания того, как получены результаты, чтобы обвиняемые, адвокаты и другие участники состязательного судебного процесса могли понять, и в случае необходимости оспорить, принятые ИИ рекомендации для решения дела.

Целесообразно ввести государственную сертификацию производителей ИИ, используемых в судебной и правоохранительной сферах.

§ 5. Принцип пятый

Пользовательский контроль должен быть увеличен, а не ограничен, на основе инструментов и сервисов ИИ. Профессионалы систем правосудия и правоохранительной деятельности должны в любой момент иметь возможность пересматривать судебные решения, принятые с применением ИИ, а также контролировать данные, используемые ИИ на всех этапах расследования и судебного процесса. Пользователь должен быть проинформирован ясным и понятным языком о том, каким образом принято решения ИИ, насколько они обязательны и имеют ли они право оспорить эти решение.

Каждый участник судебного процесса должен иметь полное право на получение в случае необходимости любых данных, используемых ИИ, для вынесения того или иного решения. Соответственно, участник не только должен иметь право на получение данных, но и на использование услуги обработки этих данных другим сертифицированным ИИ, чтобы выяснить, насколько обоснованными являются используемые в судебном процессе решения рекомендации со стороны ИИ, обслуживающего, например, сторону обвинения.

Глава III

Алгоритмические инструменты оценки рисков в системе уголовного правосудия США[6]

§ 1. Общие положения

В начале 2019 года был опубликован Отчет об алгоритмических инструментах оценки рисков в системе уголовного правосудия США. Он написан сотрудниками Партнерства по ИИ (PAI). Работа по этой теме была первоначально продиктована законопроектом 10 Сената штата Калифорния (SB 10), который предписывал приобретение и использование статистических инструментов и инструментов оценки риска машинного обучения для решений по предварительному заключению. Впоследствии эта работа расширилась для оценки использования такого программного обеспечения по всей территории Соединенных Штатов.

Партнерство по искусственному интеллекту (PAI) – это некоммерческая организация, созданная для изучения и формулирования передового опыта в области технологий ИИ, для улучшения понимания общественностью проблем ИИ и в качестве открытой платформы для обсуждения и взаимодействия в отношении ИИ и его влияния на людей и общество.

Деятельность PAI определяется в сотрудничестве с его коалицией, насчитывающей более 80 членов. В том числе групп гражданского общества, корпоративных разработчиков и пользователей ИИ, а также многочисленных академических исследовательских лабораторий ИИ. PAI стремится создать пространство для открытого разговора, развития лучших практик и координации технических исследований, чтобы гарантировать использование ИИ на благо человечества и общества. Важно отметить, что PAI является независимой организацией.

В указанном отчете задокументированы серьезные недостатки инструментов оценки риска в системе уголовного правосудия США, особенно в контексте досудебных задержаний, хотя многие из наших наблюдений также применимы к их использованию в других целях, таких как условное осуждение и вынесение приговора. Несколько юрисдикций уже приняли законодательство, обязывающее использовать эти инструменты, несмотря на многочисленные глубокие проблемы и ограничения. Собирая взгляды сообщества исследователей в области ИИ и машинного обучения, PAI наметил десять в основном невыполненных требований, которые юрисдикциям следует взвесить и рассмотреть перед дальнейшим использованием инструментов оценки рисков в системе уголовного правосудия.

Использование инструментов оценки риска для принятия справедливых решений о свободе человека потребует решения глубоких этических, технических и статистических задач, включая обеспечение того, чтобы инструменты были спроектированы и созданы для смягчения предвзятости как на уровне модели, так и на уровне данных, и чтобы были установлены надлежащие протоколы, содействовать прозрачности и подотчетности. Инструменты, доступные в настоящее время и находящиеся на рассмотрении для широкого использования, страдают от нескольких из этих сбоев, как описано в данном документе.

Эти недостатки выявлены в ходе консультаций с нашими экспертами, а также с помощью обзора литературы по инструментам оценки рисков и общедоступным ресурсам, касающимся используемых в настоящее время инструментов. Исследование было ограничено в некоторых случаях тем, что большинство инструментов не предоставляют достаточно подробную информацию об их текущем использовании, чтобы оценить их по всем требованиям в этом отчете. Юрисдикции и компании, разрабатывающие эти инструменты, должны реализовать большую прозрачность в отношении используемых данных и алгоритмов для решения этой проблемы в будущих исследовательских проектах. Тем не менее, многие из проблем, изложенных в этом отчете, относятся к любой попытке использовать существующие данные уголовного правосудия для обучения статистических моделей или для создания эвристики для принятия решений о свободе людей.

Проблемы использования этих инструментов в целом делятся на три категории:

• опасения по поводу достоверности, точности и предвзятости в самих инструментах;

• проблемы с интерфейсом между инструментами и людьми, которые взаимодействуют с ними;

• вопросы управления, прозрачности и подотчетности.

Хотя использование этих инструментов частично мотивировано желанием смягчить существующую человеческую погрешность в системе уголовного правосудия, это серьезное недопонимание, чтобы рассматривать инструменты как объективные или нейтральные просто потому, что они основаны на данных. Хотя формулы и статистические модели обеспечивают некоторую степень согласованности и воспроизводимости, они все же разделяют или усиливают многие слабые стороны процесса принятия решений человеком. Решения относительно того, какие данные использовать, как обрабатывать недостающие данные, какие цели оптимизировать и какие пороговые значения устанавливать, имеют существенное влияние на точность, обоснованность и предвзятость этих инструментов и, в конечном счете, на жизнь и свободу людей, которых они пытаются оценить.

Помимо технических проблем, при внедрении таких инструментов необходимо учитывать и вопросы взаимодействия человека с компьютером. Интерфейс «человек-компьютер» в данном случае относится к тому, как люди собирают и подают информацию в инструменты и как люди интерпретируют и оценивают информацию, которую генерируют инструменты. Эти инструменты должны соответствовать высоким стандартам интерпретируемости и объяснимости, чтобы пользователи (включая судей, адвокатов и служащих, в частности) могли понимать, как выполняются прогнозы инструментов, и принимать обоснованные решения на основе этих прогнозов. Чтобы улучшить интерпретируемость, такие предсказания должны явно включать информацию, такую как полосы ошибок, чтобы выразить неопределенность, лежащую в основе их предсказаний. Кроме того, пользователи должны посещать тренинги, которые учат, как и когда использовать эти инструменты надлежащим образом.

Более того, в той степени, в которой такие системы используются для принятия решений, которые меняют жизнь, инструменты и те, кто ими управляет, должны соответствовать высоким стандартам прозрачности и подотчетности. Данные, используемые для обучения инструментов и самих инструментов, должны подвергаться независимой проверке сторонними исследователями, адвокатами и другими соответствующими заинтересованными сторонами. Инструменты также должны получать постоянную оценку, мониторинг и аудиты, чтобы гарантировать, что они работают должным образом и соответствуют обоснованным целям уголовной политики.

В свете этих вопросов, как общий принцип, эти инструменты не должны использоваться в одиночку для принятия решений о задержании или продолжении содержания под стражей. Учитывая насущную проблему массового лишения свободы, возможно, было бы разумно использовать эти инструменты для облегчения автоматического предварительного заключения большего числа лиц, но их не следует использовать для автоматического задержания лиц без дополнительных (и своевременных) индивидуальных слушаний. Более того, любое использование этих инструментов должно учитывать проблемы предвзятости, взаимодействия человека с компьютером, прозрачности и подотчетности, изложенные в этом отчете.

Инструменты оценки риска – это статистические модели, используемые для прогнозирования вероятности конкретного будущего результата. Такие прогнозы осуществляются путем измерения взаимосвязи между характеристиками индивидуума (например, его демографической информацией, криминальной историей или ответами на психометрическую анкету) и объединения числовых представлений этих характеристик в оценку риска.

Системы скоринга обычно создаются с использованием статистических методов и эвристики, применяемой к данным, чтобы рассмотреть, как каждая особенность способствует прогнозированию конкретного результата (например, неявка в суде).

Эти оценки часто используются для присвоения лицам разных категорий риска.

Хотя они, как правило, намного проще, чем глубокие нейронные сети, используемые во многих современных системах ИИ, инструменты оценки риска в уголовном правосудии являются основными формами ИИ. Некоторые используют эвристические структуры для получения своих оценок, хотя большинство используют простые методы машинного обучения для обучения прогностических моделей из входных наборов данных. Как таковые, они представляют парадигматический пример потенциальных социальных и этических последствий автоматического принятия решений ИИ.

Использование инструментов оценки рисков в процессах уголовного правосудия быстро расширяется, и лица, принимающие решения, как на федеральном уровне, так и на уровне штатов, приняли законодательство, предписывающее их использование. Это в основном произошло в рамках реформы, которая связана с чрезвычайно высокими показателями тюремного заключения в Соединенных Штатах, которые несоразмерны уровню преступности и международным и историческим исходным показателям. Сторонники этих инструментов выступают за их потенциал для рационализации неэффективности, снижения затрат и обеспечения строгости и воспроизводимости для жизненно важных решений. Некоторые адвокаты надеются, что эти изменения будут означать сокращение ненужного содержания под стражей и предоставят более справедливые и менее карательные решения, чем система освобождения под залог или системы, где лица, принимающие решения, такие как судьи, имеют полное усмотрение.

Это критически важные цели государственной политики, но есть основания полагать, что эти взгляды могут быть слишком оптимистичными. Остаются серьезные и нерешенные проблемы с точностью, достоверностью и смещением, как в наборах данных, так и в статистических моделях, которые управляют этими инструментами. Более того, эти инструменты также часто создаются для того, чтобы отвечать на неправильные вопросы, используются в плохо продуманных условиях или не подлежат достаточной проверке, аудиту и проверке. Эти проблемы почти универсальны в исследовательском сообществе ИИ и во всем PAI, хотя мнения расходятся в том, могут ли они быть реально решены путем улучшения инструментов.

Подавляющее большинство экспертов PAI, с которыми проводились консультации, согласились с тем, что нынешние инструменты оценки рисков не готовы к использованию при принятии решений о задержании или продолжении задержания обвиняемых по уголовным делам без использования индивидуального слушания. Одна из целей исследования состоит в том, чтобы сформулировать причины такого почти единодушного взгляда на вкладчиков и помочь наладить диалог с политиками, рассматривающими вопрос об использовании этих инструментов. Члены PAI и более широкое сообщество ИИ, однако, не имеют единого мнения о том, можно ли когда-либо совершенствовать инструменты статистической оценки риска, чтобы справедливо задерживать или продолжать задерживать кого-либо на основе их оценки риска без индивидуального слушания. Для некоторых из наших членов проблемы остаются структурными и процедурными, а также техническими. Независимо от расхождений во взглядах на эти конкретные вопросы, в этом отчете кратко изложены технические проблемы, проблемы взаимодействия человека с компьютером и проблемы управления, которые коллективно определены сообществом.

Некоторые противоречия по поводу инструментов оценки риска проистекают из различных базовых показателей, по которым оцениваются инструменты оценки риска. У политиков есть много возможных исходных условий, которые они могут использовать при принятии решения о приобретении и использовании этих инструментов, включая следующие вопросы:

А. Достигают ли инструменты оценки риска абсолютной справедливости? Это вряд ли будет достигнуто какой-либо системой или учреждением из-за серьезных ограничений в данных, а также нерешенных философских вопросов о справедливости;

В. Являются ли инструменты оценки риска настолько справедливыми, насколько они могут быть основаны на доступных наборах данных? Это может быть достижимо, но только в контексте (а) выбора конкретной меры справедливости и (б) использования наилучших доступных методов для смягчения социальных и статистических ошибок в данных. Однако на практике, учитывая ограничения в доступных данных, это часто приводит к игнорированию систематических ошибок в данных, которые трудно устранить;

C. Являются ли инструменты оценки риска улучшением по сравнению с текущими процессами и лицами, принимающими решения? Инструменты оценки риска могут быть сопоставлены с эффективностью процессов, учреждений и практик принятия решений людьми, существовавшими до их внедрения, или аналогичными системами в других юрисдикциях без инструментов оценки риска. Такие оценки могут быть основаны на измеримых целях (таких как лучшее прогнозирование явки в суде или рецидив) или на отсутствии предрасположенности к человеческим предубеждениям. В этом смысле инструменты оценки риска могут не достигать определенного понятия справедливости, а быть сравнительно лучше, чем статус-кво;

D. Являются ли инструменты оценки риска улучшением по сравнению с другими возможными реформами системы уголовного правосудия? Другие реформы могут быть направлены на достижение тех же целей (например, повышение общественной безопасности, снижение вреда содержания под стражей и снижение издержек и бремени судебного процесса) при более низких затратах, большей простоте реализации или без учета интересов гражданских прав.

Базовые показатели А и В полезны для фундаментальных исследований алгоритмической справедливости и для эмпирического анализа производительности существующих систем, но они обязательно дают неоднозначные результаты из-за существования оправданных, но несовместимых определений справедливости. Тем не менее, они могут обеспечить полезную основу для понимания философских, правовых и технических вопросов с помощью предлагаемых инструментов.

Базовая линия С является одной из широко распространенных точек зрения экспертов, работающих в космосе. Это может быть уместно для политиков и юрисдикций, покупающих инструменты в соответствии с законодательными полномочиями вне их контроля, или в ситуациях, когда политические ограничения означают, что базовый уровень D неприменим. Тем не менее, мы должны подчеркнуть, что во всех обсуждениях, проведенных PAI, базовый уровень D широко рассматривался как более фундаментально правильный и подходящий как цель выработки политики и стандарт оценки для инструментов оценки риска. Поэтому законодательные органы и судебные органы должны применять базовый уровень D всякий раз, когда это возможно для них.

§ 2. Минимальные требования к ответственному использованию инструментов оценки риска в уголовном правосудии

Что такое точность?

Точность представляет производительность модели по сравнению с принятой базовой линией или предварительно определенным правильным ответом на основе доступного набора данных. Чаще всего некоторые данные, используемые для создания модели, будут зарезервированы для тестирования и настройки модели. Эти зарезервированные данные обеспечивают новые оценки, которые помогают производителям инструментов избежать «переоснащения» в процессе экспериментов.

Точность измерения включает оценку того, выполнила ли модель наилучшую возможную работу по прогнозированию на тестовых данных. Сказать, что модель предсказывает неточно, значит сказать, что она дает неправильный ответ в соответствии с данными, либо в конкретном случае, либо во многих случаях.

Поскольку точность сфокусирована на том, как инструмент работает с данными, зарезервированными из исходного набора данных, он не решает проблемы, которые могут подорвать разумность самого набора данных (обсуждается в разделе о достоверности). Действительно, поскольку точность рассчитывается относительно принятого базового уровня правильности, точность не учитывает, являются ли данные, использованные для проверки или проверки модели, неопределенными или оспариваемыми. Такие вопросы обычно принимаются во внимание при анализе достоверности. Несмотря на то, что точность часто находится в центре внимания создателей инструментов при оценке эффективности их моделей, обоснованность и предвзятость часто являются более актуальными проблемами в контексте использования таких инструментов в системе уголовного правосудия.

Что такое валидность?

Узкое внимание к точности может привести к тому, что лица, принимающие решения, будут слепы к важным фактическим соображениям, связанным с использованием инструментов прогнозирования. С любой статистической моделью, и особенно той, которая используется в таком критическом контексте, как оценки рисков в области уголовного правосудия, важно установить достоверность модели или ее точность в реальном мире. То есть, если оценки риска направлены на то, чтобы измерить вероятность того, что человек может не появиться или стать объектом будущего ареста, то это должно быть в том случае, если полученные оценки фактически отражают соответствующие вероятности. В отличие от точности, валидность принимает во внимание более широкий контекст, кающийся того, как данные были собраны и какой вывод делается.

Отдельно от данных и статистических проблем инструмент также может быть недействительным, потому что инструмент на самом деле не отвечает на правильный вопрос. Поскольку валидация всегда проводится в отношении конкретного контекста использования и конкретной задачи, перед которой ставится система, валидация инструмента в одном контексте мало говорит о том, является ли этот инструмент допустимым в другом контексте. Например, оценка риска может достаточно хорошо предсказать будущие аресты применительно к отдельным лицам в досудебном контексте, но довольно плохо применительно к лицам после вынесения приговора, или она может хорошо предсказать будущий арест в одном юрисдикции, но не в другой. Точно так же разные модели, построенные на основе одних и тех же данных, созданные с использованием разных решений и допущений при моделировании, могут иметь разные уровни достоверности. Таким образом, различные виды предсказаний (например, неявка, бегство, рецидивизм, насильственный рецидивизм) в разных контекстах требуют отдельной проверки. Без такой проверки даже устоявшиеся методы могут давать ошибочные прогнозы. Другими словами, только потому, что инструмент использует данные, собранные из реального мира, не делает автоматически его выводы достоверными.