Автоматизация репутации и ее потенциальные проблемы
Развитие информационных технологий сделало возможным появление автоматизированных систем расчета социальной репутации.
Выдача кредита на основе того есть ли проблемные кредиты у ваших друзей в соц сетях. Выдача визы на основе того какие слова вы искали в интернете, какие статьи читали, какими новостями делились. Возможность занимать гос должности на основе того покупаете ли вы отечественные продукты или слушаете иностранную музыку.
Сами по себе алгоритмы расчета репутации не несут чего то плохого или хорошего. Проблема в том кто будет их использовать. Тоталитарному государство это даст возможность быть еще тоталитарнее. Коммерческой фирме это даст возможность уменьшить риски и связанные с ними потери.
Другая сложность в том что те кто подвергается такой оценке заинтересован в улучшении своей оценки. Люди начнут подстраиваться под критерии систем ограничивая себя в выборе круга общения, действий, информационного окружения. Владельцы систем будут стараться скрыть от общества алгоритмы и критерии по которым производится оценка, чтобы помешать людям подстраиваться под систему для “зарабатывания” рейтинга. Но неизвестность критериев приведет лишь к тому что люди будут стараться вести себя осторожно даже по большему спектру критериев чем требуется. Создавая общество людей притворяющихся “нормальными”.
Не поможет даже изоляция своей жизни от технологий. Удаление аккаунтов в соц сетях, оплата покупок наличностью. Не скроет человека от систем оценки, а приведет к тому что человек будет без рейтинга что будет интерпретироваться как плохой рейтинг.
При этом на мой взгляд переход к подобным системам даже уменьшит существующую проблему дискриминации меньшинств. Например если все что система знает о человеке это его цвет кожи, пол и религия то на основе столь малого количества данных она сможет выдать рейтинг с настолько большим интервалом достоверности что такой рейтинг окажется бесполезен. Но если кроме этих данных система будет знать о человеке огромные количество другой информации(соц сети, переписка, покупки, работа) то вклад цвета кожи, пола и религии в общий рейтинг уже будет несущественным.
Хоть какую то надежду от скатывания в антиутопию может наверно дать конкуренция рейтингов. Когда у систем репутаций будет своя репутация и у конкретного человека будет возможность выбора того как именно он хочет оценивать других и быть оцененным.
Иначе у истории будет шанс еще раз повторить “Шагай в ногу или шагай в печь”
По мотивам https://www.schneier.com/blog/archives/2016/01/replacing_judgm.html
