Трансформатор для компьютера

Трансформеры зрения действительно полезны?

Преобразователи — это тип архитектуры глубокого обучения, основанный в первую очередь на модуле самоконтроля, который первоначально был предложен для выполнения последовательных задач (например, перевода предложение с одного языка на другой). Недавние исследования глубокого обучения дали впечатляющие результаты, адаптировав эту архитектуру к задачам компьютерного зрения, таким как классификация изображений. Преобразователи, применяемые в этой области, обычно называются (что неудивительно) преобразователями зрения.

Подождите... как можно использовать модель языкового перевода для классификации изображений? Хороший вопрос. Хотя в этом посте эта тема будет подробно рассмотрена, основная идея состоит в том, чтобы:

1. преобразовать изображение в последовательность сглаженных фрагментов изображения
2. передать последовательность фрагментов изображения через модель преобразователя
3. взять первый элемент выходной последовательности преобразователя и пропустите его через модуль классификации

По сравнению с широко используемыми моделями сверточных нейронных сетей (CNN), преобразователям зрения не хватает полезных индуктивных смещений (например, инвариантность перевода и локальность). Тем не менее, оказалось, что эти модели довольно хорошо работают по сравнению с популярными вариантами CNN в задачах классификации изображений, а последние достижения сделали их эффективность — как с точки зрения объема данных, так и требуемых вычислений — более разумной. Таким образом, преобразователи зрения теперь являются жизнеспособным и полезным инструментом для практиков глубокого обучения.

собственное внимание

Архитектура преобразователя состоит из двух основных компонентов: сетей прямой связи и собственного внимания. Хотя сети с прямой связью знакомы большинству, я обнаружил, что самовнимание зачастую понимается менее широко. В Интернете можно найти множество подробных описаний само-внимания, но здесь я приведу краткий обзор этой концепции для полноты картины.

что такое внимание к себе? Само-внимание принимает n элементов (или токенов) в качестве входных данных, преобразует их и возвращает n токена на выходе. Это модуль последовательности к последовательности, который для каждого входного маркера выполняет следующие действия:

• Сравнивает этот маркер с любым другим маркером в последовательности
• Вычисляет показатель внимания для каждой из этих пар
• Устанавливает текущий маркер равна средневзвешенному значению всех входных токенов, где веса задаются баллами внимания

Такая процедура адаптирует каждый токен во входной последовательности, просматривая полную входную последовательность, определяя в ней наиболее важные токены, и адаптация представления каждого токена на основе наиболее подходящих токенов. Другими словами, задается вопрос: «На какие токены стоит обратить внимание?» (отсюда и название самовнимание).

многоголовое внимание к себе. Вариант внимания, используемый в большинстве трансформеров, немного отличается от приведенного выше описания. А именно, трансформеры часто используют «многоголовую» версию внимания к себе. Хотя это может показаться сложным, это совсем не так. Многоголовое само-внимание просто использует несколько разных модулей само-внимания (например, восемь) параллельно. Затем выходные данные этих моделей внутреннего внимания объединяются или усредняются, чтобы снова объединить их выходные данные.

откуда это взялось? Несмотря на использование внутреннего внимания в трансформерах, эта идея предшествует архитектуре трансформеров. Он активно использовался с архитектурами рекуррентных нейронных сетей (RNN) [6]. Однако в этих приложениях внутреннее внимание обычно использовалось для агрегирования скрытых состояний RNN вместо выполнения преобразования от последовательности к последовательности.

Архитектура трансформатора

Архитектура трансформатора Vision очень похожа на оригинальную архитектуру трансформатора, предложенную в [4]. Таким образом, базовое понимание архитектуры преобразователя, особенно компонента кодировщика, полезно для понимания преобразователей машинного зрения. В этом разделе я опишу основные компоненты трансформатора, показанные на рисунке ниже. Хотя это описание предполагает использование текстовых данных, также могут использоваться различные способы ввода (например, сглаженные участки изображения, как в преобразователях зрения).

построение входа. Преобразователь принимает на вход последовательность жетонов. Эти токены генерируются путем передачи текстовых данных (например, одного или нескольких предложений) через токенизатор, который делит их на отдельные токены. Затем эти токены, каждый из которых связан с уникальным целочисленным идентификатором, преобразуются в соответствующие им векторы внедрения путем индексирования обучаемой матрицы внедрения на основе идентификаторов токенов, формируя ( N x d) матрицу входных данных (т. е. N маркеров, каждый из которых представлен вектором размерности d ).

Как правило, вся мини-партия размером (B x N x d) , где B — размер партии, сразу передается на трансформатор. Чтобы избежать проблем с различными последовательностями, имеющими разную длину, все последовательности дополняются (т. е. с использованием нулевых или случайных значений), чтобы иметь одинаковую длину N . Заполненные области игнорируются внутренним вниманием.

После токенизации и внедрения входных данных необходимо выполнить последний шаг — добавить позиционные вложения к каждому входному токену. Само-внимание не имеет понятия о положении — все жетоны рассматриваются одинаково независимо от их положения. Таким образом, обучаемые вложения позиции должны быть добавлены к каждому входному токену, чтобы ввести информацию о позиции в преобразователь.

энкодер. Энкодерная часть преобразователя имеет много повторяющихся слоев идентичной структуры. В частности, каждый уровень содержит следующие модули:

• Многоголовое самообслуживание
• Нейронная сеть прямого распространения

За каждым из этих модулей следует нормализация уровня и остаточное соединение. При передаче входной последовательности через эти слои представление каждого токена преобразуется с использованием:

1. представления других релевантных токенов в последовательности
2. обученная многослойная нейронная сеть, реализующая нелинейное преобразование каждого отдельного токена

Когда несколько таких слоев применяются подряд, эти преобразования производят конечная выходная последовательность одинаковой длины с контекстно-зависимыми представлениями для каждого токена.

декодер. Декодеры не относятся к преобразователям машинного зрения, архитектура которых состоит только из кодировщиков. Тем не менее, мы кратко рассмотрим здесь архитектуру декодера для полноты картины. Как и энкодер, декодер преобразователя содержит несколько уровней, каждый со следующими модулями:

• Маскированное внимание с несколькими головками
• Внимание с несколькими головками, кодировщик-декодер
• Нейронная сеть с прямой связью

Маскированное внимание к себе похоже на нормальное/двунаправленное внимание к себе, но предотвращает «заглядывание вперед» во входной последовательности (т. е. это необходимо для последовательных задач, таких как языковой перевод). Каждый токен может быть адаптирован только на основе токенов, которые идут перед ним во входной последовательности. Само-внимание кодера-декодера также очень похоже на нормальное само-внимание, но представления от кодировщика также используются в качестве входных данных, что позволяет объединить информацию от кодировщика и декодера. Затем результат этого вычисления снова передается через нейронную сеть с прямой связью.

различные варианты архитектуры. В дополнение к модели преобразования последовательности в последовательность, описанной в этом разделе, существует множество архитектурных вариантов, в которых используются одни и те же базовые компоненты. Например, архитектуры преобразователя только для кодировщика, обычно используемые в задачах понимания языка, полностью отказываются от части преобразователя декодера, в то время как архитектуры преобразователя только декодера обычно используются для генерации языка. Трансформатор Vision обычно использует архитектуру преобразователя только для кодировщика, поскольку нет генеративного компонента, который требует использования замаскированного внутреннего внимания.

предварительное обучение с самоконтролем

Хотя преобразователи изначально были предложены для задач преобразования последовательности в последовательность, их популярность резко возросла по мере того, как архитектура позже применялась для таких задач, как генерация текста и классификация предложений. Одной из основных причин широкого успеха трансформеров было использование методов предварительной подготовки с самоконтролем.

Задачи с самостоятельным наблюдением (например, предсказание замаскированных слов; см. рисунок выше) могут быть созданы для обучения преобразователей на необработанных, немаркированных текстовых данных. Поскольку такие данные широко доступны, преобразователи могут быть предварительно обучены на большом количестве текстовых данных, прежде чем их можно будет точно настроить для контролируемых задач. Такая идея была популяризирована BERT [7], который добился потрясающих улучшений в понимании естественного языка. Однако этот подход был принят во многих более поздних применениях трансформаторов (например, GPT-3 [9].]).

Интересно, что, несмотря на огромное влияние самоконтролируемого обучения в приложениях на естественном языке, этот подход не был столь успешным в преобразователях зрения, хотя во многих работах предпринимались попытки применить эту идею [11, 12].

некоторые революционные приложения-трансформеры…

Имея общее представление об архитектуре трансформатора, полезно представить в перспективе огромное влияние, которое эта архитектура оказала на исследования в области глубокого обучения. Первоначально архитектура трансформатора была популяризирована благодаря успеху в языковом переводе [4]. Однако эта архитектура продолжает революционизировать многочисленные области исследований глубокого обучения. Несколько известных применений трансформаторов (в хронологическом порядке) перечислены ниже:

• BERT использует предварительное обучение с самоконтролем для изучения высококачественных языковых представлений [бумага] [код]
• GPT-2/3 использует архитектуры преобразователя только для декодера, чтобы произвести революцию в генеративном языковом моделировании [блог] [бумага]
• AlphaFold2 использует архитектуру преобразователя для решения давней проблемы сворачивания белков [бумага][код]
• DALLE-2 использует латентные (и диффузные) CLIP для достижения шокирующих результатов в мультимодальной генерации [блог][бумага]

Хотя области применения трансформаторов обширны, главный вывод, который я хочу подчеркнуть, прост: трансформаторы чрезвычайно эффективны при решении самых разных задач .

Изображение стоит 16x16 слов: трансформеры для распознавания изображений в масштабе [1]

Хотя архитектура трансформера оказала огромное влияние на область обработки естественного языка, расширение этой архитектуры на компьютерное зрение потребовало времени. Первоначальные попытки объединить популярные архитектуры CNN с модулями самоконтроля для создания гибридного подхода, но эти методы уступили архитектурам CNN на основе ResNet.

Помимо интеграции компонентов, подобных преобразователям, в архитектуры CNN, в [1] была предложена модель классификации изображений, которая напрямую использует архитектуру преобразователя. Модель Vision Transformer (ViT) делит базовое изображение на набор участков, каждый из которых выравнивается и проецируется (линейно) на фиксированное измерение. Затем к каждому патчу изображения добавляется встраивание положения, указывающее местоположение каждого патча в изображении. Подобно любой другой архитектуре преобразователя, вход модели — это просто последовательность векторов; см. ниже.

Авторы принимают базовую и большую [7] BERT (т. е. архитектуру преобразователя только для кодировщика) для своей архитектуры, которая затем обучается путем присоединения контролируемого заголовка классификации к первому токену в выходных данных модели. Для обучения следует двухэтапная процедура предварительной подготовки и тонкой настройки. Для контролируемого предварительного обучения используется набор данных JFT-300M (очень большой), ImageNet-21K (большой) или ImageNet-1K (средний). Затем модель настраивается на некотором целевом наборе данных (например, Oxford Flowers или CIFAR-100), после чего измеряется окончательная производительность.

Без предварительного обучения на достаточном количестве данных предлагаемая модель не соответствует современным характеристикам CNN или превосходит их. Такая тенденция, вероятно, связана с тем фактом, что, хотя CNN естественным образом инвариантны к шаблонам, таким как перевод и локальность, преобразователи не имеют такого индуктивного смещения и должны изучать эти инвариантности из данных. Однако по мере того, как модель предварительно обучается на большем количестве данных, производительность резко улучшается, в конечном итоге превышая точность базовых линий на основе CNN даже при более низких затратах на предварительное обучение; см. результаты ниже.

Обучение преобразователей изображений с эффективным использованием данных и дистилляция с помощью внимания [2]

Хотя в предыдущей работе было продемонстрировано, что преобразователи зрения эффективны для классификации изображений, такие результаты основывались на интенсивном предварительном обучении на внешних наборах данных. Например, лучшие модели ViT выполняли предварительное обучение на наборе данных JFT-300M, содержащем 300 миллионов изображений, перед тонкой настройкой и оценкой модели на последующих задачах.

Хотя в предыдущей работе утверждалось, что необходимы обширные процедуры предварительной подготовки, авторы в [3] предложили альтернативное предложение, названное Data-efficient Image Transformer (DeiT), которое использует кураторскую процедуру дистилляции знаний для обучения трансформеров зрения высокой эффективности. -1 точность без каких-либо внешних данных или предварительной подготовки. Фактически весь учебный процесс можно пройти за три дня на одном компьютере.

Архитектура преобразователя зрения, используемая в этой работе, почти идентична модели ViT. Однако во входную последовательность добавляется дополнительный токен, который называется токеном дистилляции; см. рисунок ниже.

Этот токен обрабатывается так же, как и другие. Но, после выхода из конечного слоя трансформатора, он используется для подачи на потери в сети дистилляционной составляющей. В частности, применяется жесткая перегонка (т. е. в отличие от мягкой перегонки), которая обучает преобразователь зрения воспроизводить вывод argmax некоторой учительской сети (обычно CNN).

Во время тестирования вывод токена для класса и токены дистилляции объединяются и используются для прогнозирования окончательного вывода сети. Модель DeiT превосходит несколько предыдущих вариантов ViT, предварительно обученных на больших внешних наборах данных. DeiT достигает конкурентоспособной производительности при предварительном обучении в ImageNet и точной настройке для последующих задач. Другими словами, обеспечивает убедительную производительность без использования внешних обучающих данных.

Помимо своей впечатляющей точности, модифицированная стратегия обучения в DeiT также весьма эффективна. Принимая во внимание пропускную способность (то есть количество изображений, обрабатываемых моделью в секунду) различных моделей классификации изображений, DeiT достигает баланса между пропускной способностью и точностью, который аналогичен широко используемой модели EfficientNet [4]; см. рисунок ниже.

Изучение переносимых визуальных моделей из наблюдения за естественным языком [3]

Контрастная модель предварительного обучения языку-изображению (CLIP) — недавно вновь стала популярной из-за ее использования в DALLE -2 – был первым, кто показал, что большое количество зашумленных пар изображение-заголовок можно использовать для изучения высококачественных представлений изображений и текста. Предыдущая работа изо всех сил пыталась правильно использовать такие слабо контролируемые данные из-за использования плохо продуманных задач перед обучением; например, прямое предсказание каждого слова подписи с использованием языковой модели. CLIP представляет более простую задачу перед обучением — сопоставление изображений с правильной подписью в группе потенциальных подписей. Эта упрощенная задача обеспечивает лучший обучающий сигнал для модели, что позволяет изучать высококачественные изображения и текстовые представления во время предварительного обучения.

Модель, используемая в CLIP, состоит из двух основных компонентов: кодировщик изображения и кодировщик текста; см. рисунок выше. Кодер изображения реализуется либо как CNN, либо как модель преобразователя зрения. Однако авторы обнаруживают, что вариант CLIP с преобразователем зрения обеспечивает повышенную вычислительную эффективность во время предварительной подготовки. Текстовый кодировщик представляет собой простую архитектуру преобразователя, состоящую только из декодера, что означает, что в слоях преобразователя используется замаскированное внутреннее внимание. Авторы решили использовать маскированное самовнимание, чтобы в будущем текстовый компонент CLIP можно было расширить для приложений языкового моделирования.

При использовании этой модели задача предварительного обучения реализуется путем раздельного кодирования изображений и надписей, а затем применения нормализованной кросс-энтропийной потери в температурном масштабе для сопоставления представлений изображений с соответствующими представлениями надписей. Полученная в результате модель CLIP произвела революцию в производительности нулевого выстрела для классификации изображений, повысив точность теста нулевого выстрела в ImageNet с 11,5% до 76,2%. Чтобы выполнить нулевую классификацию, авторы просто:

• Закодируйте имя каждого класса с помощью текстового кодировщика
• Закодируйте изображение с помощью кодировщика изображений
• Выберите класс, который максимизирует косинусное сходство с кодированием изображения

Такая процедура изображена на рисунке выше. Для получения дополнительной информации о CLIP, пожалуйста, смотрите мой предыдущий обзор модели.

ViT работают… но практичны ли они?

Лично я поначалу весьма скептически относился к использованию преобразователей зрения, несмотря на то, что знал об их впечатляющих характеристиках. Процесс обучения казался слишком затратным в вычислительном отношении. Однако большая часть вычислительных затрат на обучение преобразователей зрения связана с предварительным обучением. В [2] авторы устранили необходимость обширного предварительного обучения и прямо продемонстрировали, что пропускная способность обучения преобразователей зрения сравнима с высокоэффективными архитектурами CNN, такими как EfficientNet. Таким образом, преобразователи зрения являются жизнеспособным и практичным инструментом глубокого обучения, поскольку их накладные расходы незначительно превосходят обычные CNN.

Хотя трансформеры широко используются в обработке естественного языка, этот обзор должен (надеюсь) показать тот факт, что они также полезны для задач компьютерного зрения. CNNS трудно превзойти, поскольку они достигают впечатляющих уровней производительности эффективным образом — как с точки зрения данных, так и с точки зрения вычислений. Однако недавние модификации архитектуры преобразователя зрения, описанные в [2], ясно показали, что преобразователи зрения лучше работают по сравнению с CNN и на самом деле довольно эффективны.

преобразователи зрения в коде. Тем, кто заинтересован во внедрении и/или экспериментировании с архитектурами преобразования зрения, я бы рекомендовал начать здесь. Это руководство позволяет (i) загружать предварительно обученные параметры ViT и (ii) точно настраивать эти параметры для последующих задач машинного зрения. Я нахожу код в этом руководстве довольно простым для понимания. Этот код можно легко распространить на другие приложения или даже реализовать некоторые из более сложных процедур обучения, описанных в [2] или другой работе.

будущих статей для чтения. Несмотря на то, что в этом посте были рассмотрены некоторые из моих любимых работ по преобразованию видений, эта тема популярна, и существуют сотни других статей. Вот некоторые из моих (других) личных фаворитов:

• Pyramid Vision Transformer: универсальная магистраль для плотного прогнозирования без сверток [бумага]
• Token-to-Token ViT: Обучение трансформеров Vision с нуля в ImageNet [бумага]
• MLP-микшер: архитектура, полностью состоящая из млп, для машинного зрения [статья]

Заключение

Большое спасибо за чтение этой статьи. Если вам понравилось, подпишитесь на мой информационный бюллетень Deep (Learning) Focus, где я выбираю одну двухнедельную тему в исследованиях глубокого обучения, предоставляю понимание соответствующей справочной информации, а затем делаю обзор нескольких популярных статей по этой теме. Я Кэмерон Р. Вульф, научный сотрудник Alegion и аспирант Университета Райса, изучающий эмпирические и теоретические основы глубокого обучения. Вы также можете ознакомиться с другими моими работами на Medium!

[1] Досовицкий Алексей и др. «Изображение стоит 16x16 слов: трансформеры для распознавания изображений в масштабе». Препринт arXiv arXiv: 2010.11929 (2020).

[2] Туврон, Хьюго и др. «Обучение преобразователям изображений и дистилляции с эффективным использованием данных с помощью внимания». Международная конференция по машинному обучению . PMLR, 2021.

[3] Radford, Alec, et al. «Изучение переносимых визуальных моделей под контролем естественного языка». Международная конференция по машинному обучению . PMLR, 2021.

[4] Vaswani, Ashish, et al. «Внимание — это все, что вам нужно». Достижения в области нейронных систем обработки информации 30 (2017).

[5] Тан, Минсин и Куок Ле. «Efficientnet: переосмысление масштабирования модели для сверточных нейронных сетей». Международная конференция по машинному обучению . PMLR, 2019.

[6] Lin, Zhouhan, et al.

Learn more

• 
  Fan 4 pin
• 
  Как сделать вторую страницу альбомной в ворде
• 
  Как открыть проект premiere 2020 в 2019
• 
  Не приходят сообщения на почту icloud
• 
  Как увеличить шрифт на странице в контакте
• 
  Как изменить время на телефоне андроид
• 
  Как закрепить алису на панели задач windows 10
• 
  Компьютер для машинного обучения
• 
  Как сохранять приложения на карту памяти андроид самсунг
• 
  Как загрузить с флешки acer
• 
  Не запускается виртуальная машина virtualbox на windows 10