Накануне в сервисах, принадлежащих компании Facebook (запрещена в РФ), произошел крупный сбой: в Instagram (запрещена в РФ) не загружалась новостная лента, в Facebook — перестали отображаться картинки, а пользователи мессенджера WhatsApp испытывали проблемы с отправкой сообщений. Нестабильная работа наблюдалась по всему миру на протяжении нескольких часов.
One nice thing about Facebook being utterly borked right now is it gives you a chance to see what its (very nice!) accessibility feature auto-alting images does.https://t.co/a3w9PcOosR pic.twitter.com/dnTXOih8Hp
— Dieter Bohn (@backlon) July 3, 2019
В то же время неполадки дали возможность немного больше понять о том, как искусственный интеллект Facebook воспринимает публикуемые пользователями фотографии. У многих вместо изображения профиля появились текстовые метки, которые отражают то, как "видят" этих людей системы машинного зрения.
Oh yeah! I forgot Facebook uses machine learning to tag our photos with what it sees in the picture.
— Zack Whittaker (@zackwhittaker) July 3, 2019
To be fair, "one person, beard" is pretty much a spot-on description of me. pic.twitter.com/fCpydUxtpz
Картинки могут сопровождаться как достаточно скромным (вида "изображение может содержать: 1 человек, борода"), так и подробным описанием (например, "изображение может содержать: улыбающиеся люди, танцующие люди, свадьба, внутри помещения"), пишет The Verge.
Facebook начала помечать изображения метками еще в 2016 году — как функция для слепых и слабовидящих пользователей, позволяющая им понять, что изображено на фотографии. ИИ распознают запечатленные на снимке объекты, составляют текстовое описание и проговаривают его вслух. Подписи к картинкам обычно очень краткие, всего несколько слов. Однако использует ли Facebook эти данные для нацеливания рекламы, неясно.