Елена Ларина, Владимир Обнинский
Искусственный интеллект. Этика и право
Введение
Реализация Стратегии развития технологий искусственного интеллекта в Российской Федерации до 2030 года предполагает интеграцию всего мирового опыта на данном направлении.
В январе 2019 года на сайте ООН был представлен
С середины 50-х годов прошлого века изобретатели и исследователи подали заявки на почти 340 тысяч изобретений на основе ИИ. Более половины всех изобретений, связанных с ИИ, были запатентованы после 2013 года.
Эксперты отмечают, что в последнее время увеличилось число патентных заявок на использование ИИ в робототехнике. В 2013 году их было 622, а в 2016-м – уже 2272. Ведущее место занимает транспортный сектор: в 2016 году на его долю приходилось 8764 патента. 6684 поданных заявки были связаны со сферой коммуникаций. В медицине, где ИИ активно применяется, например, в робото-хирургии, число заявок в 2016 году достигло 4112, что на 40 % больше, чем в 2013 году. В секторе персональных устройств, вычислительной техники и взаимодействия человека с компьютером число заявок в 2016 году составило 3977, что на 36 % больше, чем в 2013 году.
В числе лидирующих направлений использования ИИ –
Российские и зарубежные исследователи проблем использования ИИ в правосудии и правоохранительной деятельности нередко задаются вопросами об
Для того чтобы развеять эти сомнения в мировом сообществе делаются первые шаги. Так, в декабре 2018 года
Кроме того, в феврале 2019 года
В
25 мая 2019 года
В России противники применения ИИ в судебной системе часто апеллируют к тому, что у нас не прецедентное право, поэтому нельзя основываться в судебных решениях на аналоги уголовных дел. При этом закрываются глаза на то, что судьи всегда основываются на своем прошлом опыте по делам об аналогичных составах преступления, опыте региональных судей, решениях Конституционного Суда РФ и постановлениях Президиума Верховного Суда РФ, которые по сути своей – разновидность прецедентного права.
Но технологический «ветер перемен» коснулся и российских судов. Выступая 12 февраля 2018 года на совещании – семинаре судей судов общей юрисдикции и арбитражных судов России
Это только первые шаги, которые должны вести к использованию российскими судами ИИ. Многие задачи, которые выполняют юристы и адвокаты, очень трудоемкие, утомительные и дорогостоящие. При этом существует риск ошибок и неточностей в работе специалистов.
Вопрос о делегировании таких задач ИИ очень актуален. Сервисы по автоматизации поиска юридической информации и анализа документов могут сэкономить до 80 % времени юристов и до 90 % стоимости их консультаций.
Еще один драйвер внедрения ИИ в юридическую сферу – большие данные (bigdata). Это огромный массив накопленной человечеством информации: судебные решения, иски, договоры, консультации. Благодаря росту мощностей современных компьютеров, совершенствованию алгоритмов и математических моделей, появляется возможность на базе этих больших данных создавать принципиально новые продукты.
Главное цель это максимальная объективность на основании БД и сокращение сроков на принятие решений или получения достоверной информации с помощью ИИ. На уже упомянутом совещании – семинаре судей Дмитрий Медведев особый акцент сделал на нагрузке судей. Если в 2017 году 33 тыс. судей страны рассмотрели 28 млн. дел, то в 2018 году уже более 31 млн. дел. Причем прогнозируется постоянный рост числа дел для рассмотрения.
Глава I
Использование ИИ в судебных и правоохранительных системах
§ 1. Общий обзор
Судебная и правоохранительная сферы относятся к числу областей с наиболее продвинутым использованием искусственного интеллекта (ИИ). В 2018 г. в
Юридические стартапы, специализирующиеся на разработке новых юридических услуг, продали юристам, юридическим службам и страховщикам услуг на 2,3 млрд, долларов. Появились также частные компании, оказывающие юридическим и физическим лицам экзотическую услугу, а именно,
В ряде государств, прежде всего, в Нидерландах, Германии, Франции, Австрии, Польше уже разработан чрезвычайно продвинутый подход к использованию практических приложений ИИ, прежде всего,
В Великобритании главное внимание уделено использованию ИИ
С 2019 года китайские суды уже используют в судебных процессах и исполнении судебных решений технологии искусственного интеллекта для улучшения услуг и развития интеллектуальных судов. Об этом проинформировали в Верховном народном суде КНР в марте 2019 года.
По словам
Что касается создания «умных» судов, народные суды будут сосредоточены на точном исполнении судебных решений,
Одновременно с помощью технологии распознавания лиц народные суды Китая будут совершенствовать комплексные услуги и создавать базу данных для предоставления услуг
Китайская онлайновая судебная система, одна из публичных судебных платформ страны, обнародовала более 60 миллионов судебных документов. На платформе зарегистрировано к началу 2019 года более 20 миллиардов посещений.
Приложение
Теперь, как только новое дело попадает в прокурорскую систему,
Высоко оценили приложение и судьи, которыми к настоящему времени одобрено 33 из 33 предложенных им решений (сейчас оно используется еще в 84 других рассматриваемых делах). По словам проводившего презентацию Prometea профессора Оксфордского университета
По данным Европейской Комиссии на декабрь 2018 года,
По оценкам Европола, правоохранительные органы Европы, возможно, за исключением
Согласно материалам государств-членов ЕС, на начало 2019 года на государственном уровне
По мнению экспертов ЕС, отставание Европы от лидеров в области ИИ имеет не только очевидные минусы, но и некоторые плюсы. В частности, при разработке и внедрении ИИ в судебную сферу можно использовать зарубежный опыт феномена «предсказательной юстиции».
В настоящее время, особенно в
Столь быстрое развитие предиктивной аналитики связано не только с практическими нуждами, но и объясняется соревнованием США и Китая в области ИИ, используемого для поведенческого управления и контроля. Прогноз – важнейшая фаза поведенческого контроля, а соответственно в значительной степени предопределяет его эффективность.
Анализ американской и азиатской практики применения предиктивной судебной аналитики позволяет увидеть еще одну опасность. Не секрет, что все большее распространение в мире, в том числе в Европе, приобретает практика создания частных инвестиционных пулов, которые финансируют адвокатов в судебных процессах, где потерпевший выступает против корпораций. Особенно это связано с табачной, алкогольной, медицинскими отраслями, производителями товаров для населения. Если ранее подобного рода пулы формировались исключительно на основе экспертного анализа, то теперь они покупают услуги предиктивной судебной аналитики, рассчитывающей шансы на то или иное завершение судебного процесса.
Эксперты ЕС полагают, что в перспективе это может привести к усилению зависимости судей, присяжных и других участников судебного процесса от заранее сделанных прогнозов относительно итогов процесса, которые базируются не на каких-то предпочтениях и личных оценках, а исключительно на объективных статистических расчетах.
В этой связи в ЕС поставлена задача проанализировать, насколько целесообразно с точки зрения соблюдения прав человека разрешить или нет осуществлять подобную деятельность на территории ЕС.
Все более жестко разворачивающаяся гонка между США и Китаем в области ИИ и больших данных, которые, по сути, на наших глазах из различных областей сливаются в одну, подкрепленную интернетом вещей, позволяет разглядеть еще одну опасность. Уже сегодня очевидно, что тот, кто обладает АЮТ (ИИ + большие данные + интернет вещей) на порядок сильнее и могущественнее того, у кого этого нет. Использование полицией и судебной властью, включая прокуратуру, АЮТ делает одну из сторон судебного разбирательства на порядок более мощной и вооруженной, чем другая. Де фак-то, по мнению экспертов ЕС, это с большой вероятностью подрывает право граждан на независимый и беспристрастный суд, а также равенство сторон в судебном разбирательстве.
Эксперты ЕС полагают, что
Проще всего было бы запретить использование АЮТ в судебной сфере, тем более что пока в государствах ЕС ИИ применяется только в сфере повышения эффективности судебного документооборота. Однако практика использования новых технологий в мире показывает, что
Однако, хорошо известно, что политика базируется не на реальном положении дел, а на компромиссе между интересами, возможностями и силой, которой обладают различные группы, слои, страты общества и паттерны давления. Политическая система компромиссов имеет свое отражение и в судебной системе. Любое судебное решение – это ситуативное решение, когда закон применяется к определенной конкретной ситуации. Особенно это очевидно в британском прецедентном праве. Однако в более неявном виде ситуационный принцип реализуется и в так называемом континентальном праве.
Главная проблема использования ИИ в судебной практике это то, что ИИ базируется не на ситуационной логике, а на вычислительных процедурах. ИИ не умеет работать с контекстами. Соответственно,
Вопрос об использовании ИИ в судебных системах был впервые рассмотрен на уровне Европейской Комиссии в апреле 2018 г. Результаты опроса свидетельствуют о том, что министерства юстиции государств-членов ЕС сообщили, что широко пользуются как на федеральном, так и на низовом уровне инструментами ИИ. Однако при обработке результатов опроса удалось установить, что практически во всех случаях под инструментами ИИ понимались либо корпоративные информационно-аналитические системы, т. е. фактически хранилища документации, оснащенные визуализаторами и поисковиками, либо стандартные статистические пакеты, обрабатывающие стандартные цифровые данные. Ни первые, ни вторые программные комплексы не являются ИИ, а относятся к предыдущей стадии интеллектуального софта – datamining.
Приведенные ниже сведения основаны не на результатах опроса, а
• продвинутых семантических корпоративных поисковых системах;
• системах поиска и анализа ситуаций, содержащихся в юридических документах;
• системах поддержки разработки юридических документов на основе автоматического генерирования шаблонов;
• системах предиктивной судебной аналитики, ориентированных на адвокатские компании;
• юридических чатботах, осуществляющих информирование сторон в ходе первоначальных контактов по тем или иным делам на естественных языках.
Первым государством ЕС, которое заявило, что приступило к изучению возможностей машинного обучения для повышения качества судебных решений, стала
Наиболее широко система ИИ на сегодняшний день в государствах ЕС применяются в двух странах –
Французы создали
§ 2. Европейская политика в области больших данных, относящихся к судебной и правовой системам
Доступность данных является важнейшим условием развития ИИ, позволяющим ему выполнять определенные задачи, ранее выполняемые людьми. Чем больше доступных данных, тем больше ИИ может совершенствовать свои модели, улучшать их способность к распознаванию тех или иных ситуаций и прогнозированию. Поэтому подход раскрытия больших данных, относящихся к судебным решениям, является обязательным условием использования ИИ в судебной системе.
По мнению экспертов ЕС, растущее отставание большинства государств ЕС от мировых лидеров в области ИИ связано не со слабостью европейских компаний, специализирующихся в области интеллектуального софта и не с отсталостью европейской математики, а с гораздо более жесткими и запретительными по сравнению с Соединенными Штатами, Китаем и рядом других стран законами ЕС и отдельных стран в части использования, хранения и извлечения любых видов данных, имеющих отношение к гражданам Европейского Союза.
Компьютерные данные являются
В большинстве государств ЕС традиционно значительная часть правоохранительных данных и некоторые судебные данные закрыты и требуют для доступа определенного статуса. Совершенно другая ситуация в Соединенных Штатах и странах Британского Содружества наций, где
Европа фактически проспала революцию, связанную с переводом больших данных в формат общедоступных машиночитаемых данных. Соответствующий стандарт был разработан неправительственной организацией
Целью этой организации является повышение прозрачности общественной деятельности, последовательный перевод закрытых государственных данных в открытые, доступные аналитике и прогностике не только со стороны государства, ной общества. Следует констатировать, что после мощного старта в начале десятых годов, во второй половине текущего десятилетия подавляющая часть государств ЕС, прекратила активное участие в этой организации и приостановила процесс перевода больших данных в открытые машиночитаемые данные.
В этой связи в мае 2018 г. Европейская Комиссия принял решение о развертывании
К настоящему времени в значительной степени благодаря усилиям Франции, в государствах-членах ЕС проходит унификация требований к данным. Открытые машиночитаемые данные включают только те данные, которые могут быть автоматическим образом извлечены из портала в интернете и без потерь и искажений храниться в структурированных компьютерных базах данных.
В настоящее время европейскими лидерами по открытым данным в судебной сфере являются Франция и Нидерланды. Они еще в 2016 г. приняли законодательство, делающее обязательным публикацию открытых данных не только о решениях судов различной юрисдикции, но и судебных дел по закончившимся процессам. В настоящее время во Франции и Нидерландах в обязательном порядке, за исключением особенных случаев, определенных законом, публикуются не только судебные решения, но и сопутствующие документы. Это позволяет развивать судебный ИИ на основе анализа открытых данных.
Однако в 2017–2018 гг. во Франции произошел ряд инцидентов, которые поставили под сомнение принцип открытой публикации материалов судебных дел. В настоящее время этот вопрос рассматривается Европейским судом по правам человека. Лишь после вынесения его решения будет окончательно ясно, есть ли будущее у публикации всех материалов судебных дел, как открытых данных, или в перспективе публиковаться будут лишь судебные решения.
Эксперты ЕС делают вывод, что, несмотря на некоторые многообещающие разработки,
В 2017–2018 гг. в соответствии с решениями Совета Европы был проведен масштабный опрос среди сотрудников судов; какое направление они считают наиболее многообещающим с точки зрения использования возможностей ИИ для анализа машиночитаемых данных. На выбор предлагалось четыре варианта:
• использование ИИ для извлечения знаний из хранящихся в электронном виде решений судов и судебной документации;
• использование ИИ для прогнозирования линии защиты в ходе судебных процессов;
• использование ИИ для поиска прецедентных решений судов или близких к рассматриваемым в том или ином процессе случаев в прошлом. Фактически речь идет о распознавании ситуации;
• использование ИИ как служебного инструмента для организации первичного общения, автоматизации и генерации шаблонов юридических документов, улучшения качества переводов с редких иностранных языков в тех случаях, когда в процессах участвуют их носители.
Результаты обследования более чем 1700 судебных работников из 12 государств ЕС следующие: более 50 % в качестве первоочередной, наиболее интересующей функции выделили относительно простые служебные функции ИИ, связанные с чат-ботами, визуализацией, переводами и т. п. Более 20 % выразили заинтересованность в наличии инструмента, позволяющего распознавать аналоги ситуаций, рассматриваемых в том или ином судебном процессе в прошлом, и созданию подборок документов по данным ситуациям. Еще 20 % опрошенных сказали, что им ИИ не интересен и не нужен. Оставшиеся 10 % примерно пополам разделились между поисковой и прогностической функциями ИИ, которые, например, в Соединенных Штатах являются главными функциями ИИ в судебной и правоохранительной сферах.
Учитывая, что служебные функции ИИ, по сути, выполняются традиционным интеллектуальным софтом, можно утверждать, что более 80 % судебных работников не видят необходимости в использовании ИИ в своей работе, а соответственно не видят необходимости в повышении уровня своих знаний в области информационно-коммуникационных технологий за пределами умения работать с поисковиками и традиционным аналитическим софтом.
Для достижения справедливого баланса между эффективностью правоохранительных и судебных систем – с одной стороны, и приватности – с другой, необходимо провести тщательнейший анализ целесообразности публикации в рамках судебных решений имен и фамилий свидетелей, их адресов, показаний и т. п. Ключевым вопросом, который предстоит разрешить системам ИИ для судебной отрасли, который неизбежно появится, является вопрос персональных данных.
К персональным данным в рамках европейского законодательства относятся привязанные к имени, фамилии номера телефонов, адреса места жительства и электронной почты, дата рождения, имена детей, имена и фамилии родственников, места работы, проведения отдыха и т. п. В большинстве стран запрещено не только бесконтрольное использование персональных данных, но и хранение личных данных на частных серверах, в базах данных без письменного согласия человека. Проблема заключается в том, что в решениях судов, а тем более в судебной документации все эти данные обязательно содержатся. Соответственно, используя самые простые методы анализа, из судебной документации могут быть извлечены огромные массивы персональных данных. Кроме того, некоторые персоналии могут быть идентифицированы по косвенным данным и анализу перекрестных ссылок.
Наряду с персональными данными, существуют особо чувствительные данные, которые в соответствии с европейскими конвенциональными требованиями не могут быть раскрыты ни перед кем, включая государственные органы, без специального решения суда. Речь идет
Проблема заключается в том, что эти нераскрываемые данные подчас содержатся в материалах судебных заседаний, составляют их важную часть и не защищены в текстах специальным образом. В соответствии с этим подавляющее большинство судей, прокуроров в государствах-членах ЕС выступают за законодательный запрет на уровне Европейской Комиссии, переводить судебную документацию, за исключением общедоступных судебных решений, в разряд открытых данных, и более того, требуют запретить пользоваться ими всем, за исключением специально поименованных категорий участников состязательных судебных процессов. Выбирая между ИИ и личной приватностью, по мнению судейских работников, необходимо выбрать приватность.
При этом более 80 % опрошенных судейских работников ЕС полагают необходимым законодательно ограничить или строго кодифицировать условия применения ИИ в правоохранительной работе с тем, чтобы избежать вторжения полиции в частную жизнь законопослушных граждан.
§ 3. Профессиональные судебные проблемы и ИИ
Ни для кого не секрет, что значительную роль в вынесении того или иного судебного решения даже в рамках англосаксонского права играет
Вполне очевидно, что
Понятно, что чистая прогностика никого не интересует и главный смысл состоит в том, чтобы найти уязвимости в характере, профессиональных навыках или стиле ведения процесса у судей, и использовать их в интересах подзащитных. Представляется, что распространение в Европе подобных систем предиктивной судейской аналитики усилит искажение равенства и состязательности в судебном процессе, даст преимущество защите перед обвинением, богатым юридическим фирмам перед независимой адвокатурой, состоятельным обвиняемым перед малоимущими.
Существует реальная опасность того, что будет подорван краеугольный принцип юстиции – принцип справедливого судебного разбирательства. Анализ использования дорогостоящий предиктивных судебных программ ведущими юридическими фирмами в Соединенных Штатах, Великобритании и Франции показывает, что адвокаты, располагающие такими системами, в среднем на 17–22 % чаще выигрывают дела, чем не располагающие. Повышение шансов на 1/5 буквально за два-три года свидетельствует о появлении конкурентного преимущества у адвокатов, имеющих системы предиктивной судебной аналитики.
Соответственно заслуживает внимания вопрос о запрете использования такого рода систем, по крайней мере, до тех пор, пока государственная сторона судебного процесса, в том числе прокуратура, не будут располагать аналогичными по эффективности системами. В противном случае это будет напоминать дуэль, когда один вооружен автоматом, а другой – старым мушкетом.
Кроме того, этот вопрос заставляет по-новому подойти к определению того объема данных по судебным процессам, которые не просто становятся доступными публике, но и хранятся. Представляется, что необходимо разделить два вопроса:
Целью открытых данных является обеспечение автоматической обработки прецедентного права в рамках недорогой операционной лицензии, приобретение которой доступно каждому. Соответственно, ЕС занимает крайне осторожную позицию относительно рекомендаций по расширению объема публикуемых данных судебной практики. Более того, эксперты ЕС ставят вопрос о необходимости еще раз рассмотреть вопрос
Щекотливость ситуации состоит в том, что в настоящее время обязательность упоминаний имен и фамилий судей в судебных решениях является обязанностью государств-членов ЕС в соответствии с принципами публичного разбирательства, изложенными в статье 6 Европейской Конвенции о правах человека в части порядка обеспечения объективной беспристрастности судей.
Какие практические меры могут быть осуществлены для защиты судей в мире ИИ? Ответ на этот вопрос зависит от специфических особенностей судебной системы каждого конкретного государства. Например, в
В то же время существуют и ограничительные правила. Например,
Следует констатировать, что на сегодняшний день не только отсутствуют проверенные практикой рекомендации по решению данного вопроса, но и не проводилось, по крайней мере, в Европе, сколько-нибудь обширного сравнительного анализа способов защиты независимости судей в мире ИИ и больших данных.