ИИ как оружие манипуляции

Мы вчера рассказывали про то, как израильские власти планируют потратиться на продвижение нужных нарративов через ChatGPT. Но проблема манипуляций через нейросети на самом деле гораздо шире.

На эту тему в журнале Американской Экономической Ассоциации вышла примечательная статья, в которой исследователи строят теоретическую модель того, как платформы с доступом к большим данным и инструментам ИИ могут манипулировать поведением пользователей, подсовывая им ненужные товары и контент.

В общем виде смысл исследования в следующем: когда у больших платформ (Amazon, TikTok, Netflix и т. д.) есть горы данных и умные алгоритмы, они учатся не просто «угадать, что вам понравится», а подсовывать то, что выглядит привлекательно в моменте, но на деле оказывается слабым продуктом.

Примеры манипуляции

Мобильные игры: вначале игроку специально дают лёгкие победы, яркие награды — создаётся иллюзия кайфа. Но со временем открывается, что игра однообразная и требует доната.

Соцсети: в ленте первым показывают максимально «цепляющий» контент, который может быть пустым или даже вредным. Пользователь втягивается, а плохие стороны заметит позже.

Маркетплейсы: красиво сфотографированный товар с восторженными отзывами может на деле оказаться некачественным.

В чём состоит риск?

Если «глянец» быстро спадает — манипулировать бессмысленно, алгоритмы быстрее помогают пользователю найти что-то полезное. Но если иллюзия держится долго, платформа наживается: вы платите или тратите время, пока не поняли, что продукт слабый.

И чем больше у платформы выбор, тем легче ей найти для вас очередной «глянцевый» продукт — и снова продать иллюзию.

Вывод тут следующий: ИИ и Big Data могут работать на благо, но так же легко превращаются в инструмент скрытой манипуляции. И пока пользователи не понимают, как именно их «подталкивают» к определенному выбору, платформа зарабатывает больше, а общество лишь проигрывает.

Ну а самый лучший способ бороться с этим трендом — развитие конкуренции между платформами и создание своих, в данном случае, российских технологий ИИ. Без этого большие данные и чужие ИИ будут работать не на людей, а против них — превращая внимание в товар, а поведение в объект манипуляций.

Rybar