Электронные баллы для британцев. Осторожно, вы в «риск-листе»

В Британии вскрылась очередная мрачная история про искусственный интеллект и полицию. На этот раз обошлось без Palantir.

С 2016 года местный совет и полиция Эйвона и Сомерсета вели гигантскую базу Think Family Database почти на полмиллиона жителей. Туда сохраняли все подряд: полицейские сводки, проблемы с жильем, психическое здоровье, подростковые беременности, посещаемость школы, бесплатные обеды, участие родителей в курсах и так далее.

Подробнее о базе

Затем внедрили машинное обучение и начали присваивать жителям «риск‑баллы» — кто может стать преступником, жертвой, пропасть, попасть в криминальную среду. На основе данных сформировали 23 модели, по которым оценивалась возможность участия человека в тех или иных действиях (грабеж, риск не явиться в суд, вероятное исчезновение).

Картинка поначалу выглядела красиво: большие данные, забота о детях, превентивная работа. Но на практике все оказалось куда более приземленно.

Социальные работники говорили, что алгоритмы в основном выдавали тех же детей, о которых они и так знали. Потом стало хуже: когда полиция попыталась расширить модели на весь регион и перестала использовать подробные данные городского совета, точность рухнула.

Символично, что один из алгоритмов для прогнозирования грабежей несколько лет работал с точностью меньше 10% — то есть девять из десяти помеченных «опасными» людей на деле ничего бы не совершили, но потенциально могли бы попадать под особое внимание полиции.

На этом фоне особенно интересно, что именно из этой региональной истории выходит человек, который сегодня продвигает ИИ по всей британской полиции. Бывший глава полиции Эйвона и Сомерсета Энди Марш теперь руководит Колледжем полиции и участвует в запуске PoliceAI — национальной инициативы с бюджетом в десятки миллионов фунтов, которая должна развернуть ИИ‑инструменты во всех 43 полицейских управлениях Англии и Уэльса.

Ситуация в Бристоле показывает, что на практике такие проекты легко превращаются в непрозрачные системы, где одна неудачная модель может тихо влиять на жизни сотен тысяч людей. Вот только едва ли это остановит британские власти.