Красота в деталях: ученые Вышки и AIRI разработали метод высококачественного редактирования изображений
Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета разработали новый метод редактирования изображений на основе глубинного обучения — StyleFeatureEditor. Он позволяет точно воссоздавать мельчайшие детали изображения и сохранять их при редактировании. С его помощью пользователи смогут изменять цвет волос или выражение лица без потери качества изображения. Результаты работы опубликованы на самой цитируемой конференции по компьютерному зрению CVPR 2024.
Искусственный интеллект уже научился генерировать изображения и редактировать их. Это стало возможным благодаря генеративно-состязательным нейросетям (GANs — generative adversarial networks). Архитектура предполагает две независимые сети: генератор производит изображения, дискриминатор различает реальные и сгенерированные образцы, и они соревнуются друг с другом. Новым этапом в развитии генеративно-состязательных сетей стала модель StyleGAN. Она может генерировать изображения и изменять их отдельные части по запросу пользователя, но не умеет работать с реальными фото или картинками.
Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета предложили способ быстро и качественно редактировать реальные изображения. Ученые создали метод (StyleFeatureEditor) с двумя модулями: первый воссоздает (реконструирует) исходное изображение, а второй редактирует эту реконструкцию. Результат работы модулей передается в StyleGAN в понятном для нейросети наборе внутренних представлений, из которых и создается редактированное изображение. При этом разработчикам удалось решить проблемы, которые возникали в предыдущих исследованиях: при небольшом наборе представлений нейросеть хорошо редактировала изображение, но теряла детали исходного изображения, а при большом наборе все детали сохранялись, но нейросеть не понимала, как их правильно преобразовать с учетом поставленной задачи.
Для решения этой проблемы исследователи предложили следующее: первый модуль ищет и большие, и маленькие представления, а второй учится редактировать большие на примере редактуры маленьких представлений.
Однако, чтобы обучить эти модули правильно редактировать представления, нейросети нужны настоящие изображения и их отредактированные версии.
Денис Бобков
«Нам нужны были образцы, например одно и то же лицо с разной мимикой, прической, деталями. К сожалению, таких пар изображений не существует на данный момент. И мы придумали хитрость: с помощью метода, работающего с малыми представлениями, мы создали реконструкцию настоящего изображения и пример редактирования этой реконструкции. Несмотря на то что получились довольно простые примеры без деталей, модель четко поняла, как правильно совершать редактирования», — рассказывает один из авторов статьи, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, младший научный сотрудник лаборатории Fusion Brain AIRI Денис Бобков.
Однако обучение только на сгенерированных (простых) примерах ведет к потере деталей при работе с реальными (сложными) изображениями. Чтобы этого не происходило, ученые добавили реальные изображения в обучающую выборку. И нейросеть училась воссоздавать их в деталях.
Таким образом, показав модели и как редактировать простые, и как воссоздавать сложные изображения, ученым удалось создать условия, при которых нейросеть научилась редактировать сложные изображения. В частности, разработанный подход справляется с добавлением новых элементов стиля, а также лучше сохраняет детали исходных изображений по сравнению с другими существующими методами.
В случае простой реконструкции (первый ряд) StyleFeatureEditor аккуратно воспроизвел шляпку, в то время как большинство других методов ее практически потеряло. Лучшее качество разработанный метод показал в случае добавления аксессуаров (третий ряд): большинство методов справились с добавлением очков, но только StyleFeatureEditor сохранил исходный цвет глаз.
Айбек Аланов
«Благодаря технике обучения на сгенерированных данных, мы получили модель с хорошим качеством редактирования, а также быструю скорость работы за счет использования подхода с достаточно легковесными нейросетями. Фреймворку StyleFeatureEditor требуется всего 0,07 секунды на редактирование одного изображения», — говорит Айбек Аланов, заведующий Центром глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, руководитель научной группы «Контролируемый генеративный ИИ» лаборатории Fusion Brain AIRI.
Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве РФ.
Результаты исследования будут представлены в докладе на ежегодной конференция по искусственному интеллекту и машинному обучению Fall into ML 2024, которая пройдет в НИУ ВШЭ 25-26 октября. На площадке Высшей школы экономики ведущие ученые в области искусственного интеллекта обсудят лучшие работы, опубликованные на конференциях А* в 2024 году — флагманских событиях этой области. Демо разработанного метода можно опробовать на HuggingFace, код — в Github репозитории.
Вам также может быть интересно:
Динамику ESG в мире обсудили на международной конференции по вопросам устойчивого развития в Вышке
Участники форума «ESG Corporate Dynamics: the Challenges for Emerging Capital Markets» обсудили использование ИИ в сфере устойчивого развития, влияние климатической уязвимости на привлечение институциональных инвесторов, тренды ESG-политики в Южной Корее и Китае, разработку интегральной ESG-модели для оценки вероятности дефолта компаний и многие другие вопросы. В работе конференции, организованной факультетом экономических наук ВШЭ, приняли участие более 20 ученых из ведущих университетов Китая, Египта, Малайзии и других стран.
Исследователи из ВШЭ разработали Python-библиотеку для анализа данных движений глаз
Исследовательская группа из Высшей школы экономики разработала Python-библиотеку EyeFeatures, предназначенную для анализа и моделирования данных движений глаз. Инструмент призван облегчить работу ученых и разработчиков, предоставляя им возможность эффективно обрабатывать сложные данные и строить предсказательные модели.
Достижения Вышки в сфере ИИ представили на AIJ
На площадке международной конференции AI Journey состоялась сессия под руководством вице-премьера Дмитрия Чернышенко, посвященная достижениям российских исследовательских центров в области искусственного интеллекта. Руководитель Центра ИИ ВШЭ Алексей Масютин представил ключевые разработки исследователей центра.
Фантастика vs реальность: ВШЭ и Евразийский НОЦ обучили преподавателей Башкортостана работе с ИИ
В начале ноября в Уфе состоялось обучение по программе повышения квалификации «Искусственный интеллект и его применение в научных исследованиях» для преподавателей и ученых Республики Башкортостан. Организаторами программы выступили Центр непрерывного образования ФКН НИУ ВШЭ и Евразийский научно-образовательный центр. Обучение было реализовано в сетевой форме по трем направлениям: гуманитарному, естественно-научному и техническому.
Искусственная революция: как ИИ меняет образование
Искусственный интеллект стремительно ворвался в образовательное пространство и стал помощником и напарником студентов и преподавателей. Сегодня владение ИИ-инструментами становится универсальной компетенцией и требует от педагогов освоения новых навыков и подходов как к учебному процессу, так и к оцениванию успехов студентов.
Ученые НИУ ВШЭ признаны лидерами в сфере развития ИИ
В рамках международной конференции по искусственному интеллекту и машинному обучению AI Journey наградили победителей Национальной премии «Лидеры ИИ — 2024». Лауреатами стали Сергей Самсонов, научный сотрудник Международной лаборатории стохастических алгоритмов и анализа многомерных данных Института искусственного интеллекта и цифровых наук ФКН ВШЭ, и Елена Тутубалина из Института искусственного интеллекта AIRI и Научно-учебной лаборатории моделей и методов вычислительной прагматики ФКН ВШЭ. Еще один ученый Вышки стал финалистом премии.
AI против AI: ученые создали нейросети для обнаружения сгенерированных вставок в текстах
Команда исследователей с участием Александра Ширнина из НИУ ВШЭ создала две модели для обнаружения в научных текстах частей, сгенерированных искусственным интеллектом. В системе AIpom соединены два типа моделей — декодер и энкодер. Система Papilusion подходит для распознания исправлений с помощью синонимов и кратких пересказов, сгенерированных нейросетью, в работе она использует модели одного типа — энкодеры. В перспективе подобные модели помогут в проверке оригинальности и достоверности научных публикаций. Статьи о системах Papilusion и AIpom опубликованы в цифровом архиве ACL Anthology.
Обуздать стихию: как ИИ интегрируется в учебный процесс в странах мира
Искусственный интеллект постепенно становится незаменимой частью высшего образования. Его используют и студенты, и преподаватели для снижения объема рутинных задач и расширения своих возможностей. Ограничения и перспективы ИИ рассматриваются в докладе «Начало конца или новой эпохи? Эффекты генеративного искусственного интеллекта (ГИИ) в высшем образовании», который вышел в журнале «Современная аналитика образования» под научной редакцией научного руководителя НИУ ВШЭ Ярослава Кузьминова.
Виртуальный Моцарт, бот «Венчурный капитал» и генерация учебных видео: как в Вышке применяют ИИ
В середине ноября в Вышке состоялся митап, на котором преподаватели, исследователи и административные работники университета представили собственные проекты и поделились опытом использования ИИ-технологий в образовательной и научной деятельности. Встреча прошла в рамках программы повышения квалификации «Искусственный интеллект в образовании и исследованиях».
Названы ключевые тренды в образовании — 2025
Искусственный интеллект и виртуальная реальность все чаще становятся частью образования. Больше половины преподавателей-новаторов готовы поддерживать мультимодальные подходы с использованием ИИ, а каждый третий студент считает, что технологии способны сделать учебу интереснее и удобнее. Такие данные представили Лаборатория инноваций в образовании ВШЭ и холдинг Ultimate Education.