Искусственный интеллект научили улучшать фото без подсказок

Исследователи научили искусственный интеллект (ИИ) улучшать фотографии с дефектами, не видя "чистых" версий снимков. Проект был выполнен учеными из NVIDIA, Университета Аалто и Массачусетского технологического института (MIT) и представлен на этой неделе на Международной конференции по машинному обучению в Стокгольме.

Исследователи научили искусственный интеллект (ИИ) улучшать фотографии с дефектами, не видя "чистых" версий снимков. Проект был выполнен учеными из NVIDIA, Университета Аалто и Массачусетского технологического института (MIT) и представлен на этой неделе на Международной конференции по машинному обучению в Стокгольме.

Ранее нейросети тоже могли повышать качество "шумных" или пикселизированных фотографий, однако для этого их требовалось обучить, сопоставляя такие пары изображений, в которых одно из фото шумное, а второе, с той же сценой, шумов лишено.

Теперь же исследователям удалось добиться хороших результатов, предоставляя нейросетям пары "шумных" снимков, различающиеся лишь по степени "зашумленности". Вот пример работы нейросети, которой никогда не показывали, как выглядит чистое изображение, но она, тем не менее, способна устранять артефакты, шум, зерно, и автоматически улучшать качество фотографий:

"ИИ можно научить восстанавливать сигналы, даже без сравнения их с чистыми аналогами, причем с большей скоростью, чем в случае использования исключительно чистых образцов, – утверждают исследователи в своей работе. – Созданная нейросеть не уступает методам, в которых нейросеть учится на основе чистых образцов, — она использует тот же самый метод и не уступает ни по времени обучения, ни по результатам работы".

Команда проекта обучила свою систему на 50 000 изображениях из набора ImageNet с помощью графических процессоров NVIDIA Tesla P100 с фреймворком глубокого обучения TensorFlow с ускорением cuDNN. Данный метод может использоваться не только для домашнего фотоархива, но и для улучшения МРТ-снимков, что должно значительно усовершенствовать качество визуализации в медицине.

Другой пример практического применения — получение качественных 3D-рендеров без необходимости многократного увеличения вычислительных мощностей.