Мэтчинг персонажей. Level Hard: на Хабре появился материал от исследователей Лаборатории 3I

 
20.01.2025
 
Лаборатория «Искусство и искусственный интеллект»; Школа искусств и культурного наследия
 
Исследования

На Хабре появился первый материал от исследователей Лаборатории «Искусство и искусственный интеллект». 

В статье речь идет о проекте, в котором нейросеть обучили выделять и классифицировать персонажей на гравюрах XVIII–XIX веков из коллекции Британского музея. Инженеры лаборатории столкнулись с задачей обработки сложных изображений: на гравюрах персонажи часто изображены в необычных пропорциях, их много, плюс данные не были размечены. Чтобы избежать ручной разметки, команда использовала автоматические алгоритмы сегментации и создала датасет из более чем 41 тысячи персонажей.

Далее, чтобы нейросеть могла различать персонажей, исследователи применили аугментацию изображений — искусственно изменяли их, создавая дополнительные данные для обучения. Модель обучили находить сходства между похожими персонажами и различия с другими. Итогом стало создание алгоритма, который не только выделяет персонажей, но и распознает повторяющихся, что особенно полезно для работы с большими коллекциями изображений.

Подробности — в оригинале материала на Хабре.

Кстати, недавно на Дзене Европейского выходила публикация об атрибуции английских сатирических гравюр XVIII–XIX веков.