ИИ Amazon спутал политиков с преступниками

В 2016 году компания Amazon представила систему распознавания образов Rekognition. Как утверждали разработчики, программа, построенная на базе искусственного интеллекта, распознает различные объекты, в том числе лица людей, с очень высокой степенью точности. В частности, полиция Орландо использует именно Rekognition для поиска преступников на улицах города в режиме реального времени.

В 2016 году компания Amazon представила систему распознавания образов Rekognition. Как утверждали разработчики, программа, построенная на базе искусственного интеллекта, распознает различные объекты, в том числе лица людей, с очень высокой степенью точности. В частности, полиция Орландо использует именно Rekognition для поиска преступников на улицах города в режиме реального времени.

На этой неделе надежность Rekognition проверил Американский союз защиты гражданских свобод (ACLU). Участники некоммерческой организации загрузили из открытых источников около 25 тысяч снимков правонарушителей, после чего сопоставили их с фотографиями 535 членов конгресса США, у которых не было криминального прошлого.

Результаты оказались неутешительными. Как сообщил юрист ACLU Джейк Сноу, система Amazon неверно идентифицировала 28 конгрессменов в качестве ранее задержанных преступников, что ставит её эффективность под большое сомнение. Более того, чаще всего алгоритмы ложно срабатывали на афроамериканцах: например, Rekognition приняла за преступника парламентария Джона Льюиса, крупного известного борца за гражданские права чернокожих.

Представители Amazon в свою защиту сказали, что в ACLU неверно выставили порог доверия, из-за чего Rekognition ошибалась гораздо чаще. Во время эксперимента значение вероятности совпадения было выставлено по умолчанию — 80%, в то время как компания рекомендует правоохранительным органам повышать порог доверия до 95% и даже выше.

"Несмотря на то что вероятность совпадения в 80% — это приемлемое значение для распознавания фотографий хот-догов, стульев, животных или других случаев использования в социальных сетях, было бы нецелесообразно идентифицировать людей с таким порогом доверия, — сказали в Amazon. — Когда система распознавания лиц используется для деятельности правоохранительных органов, мы рекомендуем нашим клиентам устанавливать более высокий порог, не менее 95% и выше".