Коннекционизм.
ЛЕКЦИЯ 4. Большая таксономия, или карта нейросетей
- 25.10.26 г.
- 9772225665000 26021
Общие положения
В предыдущей лекции мы прошли путь от перцептрона до глубокого обучения. Мы увидели, как однослойная сеть столкнулась с задачей XOR, как нелинейные функции активации и многослойность позволили ее преодолеть, и как алгоритм обратного распространения ошибки сделал возможным обучение глубоких сетей.
Но вот в чем проблема: к настоящему моменту нейросетей стало очень много – сверточные, рекуррентные, генеративные, вероятностные, спайковые. Одни решают задачи классификации, другие – генерации, третьи – сжатия. Но без карты нейросетей в этом многообразии легко запутаться.
Эта лекция – обзорная. Мы не будем глубоко разбирать каждую архитектуру – это будет в следующих лекциях. Наша задача – нарисовать «карту местности». Понять, какие бывают нейросети, по каким признакам их классифицируют, для каких задач каждая предназначена. А затем, по мере изучения курса, мы будем «расставлять флажки» на этой карте: вот здесь CNN, вот здесь RNN, вот здесь трансформеры.
Карта нейросетей – это не роскошь, а необходимость. Без нее можно видеть лишь набор не связанных между собой терминов. С картой можно видеть историческую линию развития: от простых ассоциативных сетей к вероятностным, от них – к глубоким, от глубоких – к современным архитектурам на основе внимания.
Важно помнить: эта таксономия – это инструмент для ориентации, а не жесткая научная классификация. Границы между категориями часто размыты, особенно в современных моделях.
1. Зачем нужна таксономия
За много лет истории нейросетей их появилось сотни, если не тысячи разновидностей. Каждая решает свою задачу, каждая имеет свою архитектуру, каждая обучается по-своему.
Если пытаться запомнить их все по отдельности – это безнадежно. Но если увидеть логику классификации, то картина становится обозримой.
Нейросети можно классифицировать по нескольким независимым осям:
- по решаемой задаче – что сеть делает: классифицирует, генерирует, сжимает, восстанавливает,
- по направлению сигнала – как сигнал движется внутри сети: только вперед или с петлями,
- по способу обновления – как нейроны обновляют свое состояние: одновременно или по очереди,
- по глубине – сколько слоев между входом и выходом.
Дополнительно иногда используют еще одну ось – по способу обучения: с учителем (supervised), без учителя (unsupervised) или с подкреплением. Мы не выделяем ее в отдельный раздел, потому что способ обучения – это свойство процесса, а не архитектуры.
Эти оси не исключают друг друга. Одна и та же сеть может быть, например, «глубокой дискриминативной сетью прямого распространения». Это как в биологии: животное можно описать по классу, отряду, семейству, роду и виду одновременно.
Существуют и другие способы классификации:
- по типу данных (текст, изображение, звук),
- по применимости (медицина, финансы, транспорт) и др.
Мы выбираем оси, которые лучше всего помогают понять устройство нейросетей.
Важно понимать, что классификация – это не жесткие рамки, а инструмент для ориентации. Одна и та же сеть может попадать в разные категории в зависимости от того, как мы на нее смотрим. Например, автокодировщик – это и сжимающая сеть (по задаче), и сеть прямого распространения (по направлению сигнала), и глубокая (по глубине).
2. Ось первая: классификация по решаемой задаче
Это самая важная ось. Она отвечает на вопрос: для чего эта сеть создана? Именно по этому признаку мы будем группировать архитектуры на протяжении всего курса.
Ассоциативные сети.
Задача: восстановление зашумленного или неполного паттерна.
Пример: сеть Хопфилда (John Hopfield, 1982).
Как это работает. Представьте, что вы учите сеть запоминать несколько изображений. Затем подаете ей искаженную версию одного из них – например, половину буквы «А». Сеть «вспоминает» полный образ и восстанавливает его.
Аналогия. Это похоже на человеческую память: вы видите часть лица и узнаете человека. Или слышите первую строчку песни – и вспоминаете всю.
Применение. Ассоциативная память, восстановление поврежденных данных, оптимизационные задачи.
Ограничение. Сеть Хопфилда имеет ограниченную емкость: в классической оценке она может запомнить примерно 0,14·N паттернов, где N – число нейронов. Если попытаться запомнить больше – сети «перепутаются».
Вероятностные сети.
Задача: моделирование распределений данных и генерация новых примеров.
Примеры: машины Больцмана, ограниченные машины Больцмана. Исторические предшественники – цепи Маркова (статистические модели, не нейросети.).
Как это работает. Сеть учится запоминать не просто примеры, а распределение вероятностей – то есть то, как данные устроены статистически. Затем она может генерировать новые примеры, похожие на обучающие, но не совпадающие с ними.
Аналогия. Это как если бы вы выучили не конкретные стихи Пушкина, а его стиль – и могли бы написать новое стихотворение «в духе Пушкина».
Применение. Генерация данных, восстановление пропущенных значений, рекомендательные системы.
Ограничение. Обучение машин Больцмана вычислительно сложно: оно требует вычисления статистических сумм, которые растут экспоненциально с числом нейронов. Именно поэтому они уступили место более эффективным архитектурам – VAE, GAN и диффузионным моделям.
Сжимающие сети.
Задача: сжатие данных до компактного представления и восстановление обратно.
Пример: автокодировщики.
Как это работает. Сеть состоит из двух частей: энкодера и декодера. Энкодер сжимает входные данные до маленького «кода» (латентного представления). Декодер восстанавливает исходные данные из этого кода. Сеть обучается так, чтобы восстановление было как можно точнее.
Аналогия. Это как архиватор: он сжимает файл, а потом распаковывает его обратно. Только автокодировщик учится сжимать не по алгоритму, а на основе данных.
Применение. Уменьшение размерности, поиск аномалий (если сеть не может восстановить объект – значит, он необычный), удаление шума, генерация (вариационные автокодировщики, VAE).
Ключевая идея. Автокодировщик вынужден учиться компактному представлению данных. Это представление – и есть то, что называется эмбеддингом.
Глубокие дискриминативные сети
Задача: классификация, распознавание, предсказание.
Примеры: MLP (многослойный перцептрон), CNN (сверточные сети), RNN (рекуррентные сети).
Как это работает. Сеть получает вход (например, изображение) и выдает метку класса (например, «кошка»). Она дискриминирует – то есть различает классы.
Аналогия. Это как эксперт, который смотрит на снимок и говорит: «Это доброкачественная опухоль» или «Это злокачественная». Он не создает опухоль – он ее распознает.
Применение. Распознавание изображений, речи, текста, медицинская диагностика, кредитный скоринг, обнаружение спама.
Ключевое отличие от генеративных. Дискриминативные сети. отвечают на вопрос «что это?», генеративные – «как это создать?».
Глубокие генеративные сети
Задача: создание новых объектов, похожих на обучающие.
Примеры: VAE (вариационные автокодировщики), GAN (генеративно-состязательные сети), диффузионные модели (Stable Diffusion, DALL-E).
Как это работает. Сеть учится генерировать данные. GAN делает это через состязание генератора и дискриминатора. Диффузионные модели – через постепенное очищение шума.
Аналогия. Это как художник, который пишет новые картины в определенном стиле. Он не копирует – он создает.
Применение. Генерация изображений, видео, аудио, текста, синтетических данных для обучения, дизайн лекарств.
Ключевое отличие от вероятностных. Вероятностные сети (машины Больцмана) тоже генерируют, но они появились раньше и менее эффективны. Генеративные сети. – это современное поколение: VAE, GAN, диффузия.
Рекуррентные сети
Задача: работа с последовательностями – текстом, речью, временными рядами.
Примеры: RNN (простая рекуррентная сеть), LSTM (Long Short-Term Memory), GRU (Gated Recurrent Unit).
Как это работает. Сеть может обрабатывать последовательность слово за словом, сохраняя контекст.
Аналогия. Это как чтение книги: вы читаете слово за словом, но помните предыдущие слова и понимаете смысл предложения. Рекуррентная сеть делает то же самое.
Применение. Машинный перевод (до трансформеров), генерация текста, распознавание речи, прогнозирование временных рядов.
Ограничение. Проблема затухающих градиентов. LSTM и GRU решают ее частично, но не полностью. Именно поэтому RNN уступили место трансформерам.
Важно. Позже мы посмотрим на рекуррентные сети. с другой стороны – по направлению сигнала. Это не противоречие: одна и та же сеть может описываться по разным осям.
Современные архитектуры на основе внимания, или трансформеры
Задача: масштабируемая генерация и понимание.
Пример: трансформеры (Transformer, Vaswani et al., 2017).
Как это работает. Трансформер использует механизм внимания (Self-Attention), который позволяет модели «смотреть» на все токены одновременно, а не последовательно. Это делает его быстрее и мощнее RNN.
Аналогия. Это как если бы вы читали не слово за словом, а сразу видели все предложение целиком – и могли мгновенно установить связи между всеми словами.
Применение. GPT, BERT, Claude, Gemini – все большие языковые модели. Также трансформеры используются в компьютерном зрении: например, Vision Transformer (ViT) применяет ту же архитектуру к изображениям, разбивая их на патчи.
Почему трансформеры выделяют особо? Одна и та же архитектура может использоваться по-разному: как энкодер (BERT – понимание), как декодер (GPT – генерация) или как энкодер-декодер (T5 – перевод). Это не разные архитектуры, а разные способы использования одной. Поэтому трансформеры часто называют универсальными или масштабируемыми архитектурами общего назначения.
Спайковые сети (перспективное направление)
Задача: энергоэффективная обработка информации, приближенная к биологии.
Примеры: SNN (Spiking Neural Networks).
Как это работает. В отличие от классических сетей, которые передают непрерывные значения, спайковые сети передают дискретные импульсы (спайки) в определенные моменты времени. Это ближе к тому, как работает биологический мозг.
Применение. Робототехника, импланты, Edge AI – устройства с батарейным питанием, где важна энергоэффективность.
Важно. Это третье поколение нейросетей. SNN уже используются в робототехнике и имплантах, а нейроморфные чипы (Intel Loihi) становятся коммерчески доступными. Это не только перспектива, но и реальность.
3. Ось вторая: по направлению сигнала
Это вторая важная ось. Она отвечает на вопрос: как сигнал движется внутри сети?
Сети прямого распространения (Feed-Forward)
Определение. Сигнал идет только в одном направлении: от входа к выходу. Нет петель, нет обратных связей.
Примеры: MLP, CNN, большинство трансформеров (GPT, BERT, T5). Исключение – рекуррентные трансформеры (например, Transformer-XL), которые используют механизм памяти, но они менее распространены.
Свойства. Простота, возможность параллелизации. Каждый слой обрабатывает данные независимо от предыдущих (в смысле порядка вычислений).
Аналогия. Это как конвейер: деталь движется по ленте, на каждой станции с ней что-то делают, но она никогда не возвращается назад.
Сети с обратными связями (рекуррентные)
Определение. Сигнал может циркулировать: выход нейрона может влиять на его же вход (напрямую или через другие нейроны).
Примеры: RNN, LSTM, GRU, сеть Хопфилда.
Свойства. Память, способность обрабатывать последовательности. Но они сложнее в обучении.
Аналогия. Это как разговор: вы говорите, слышите ответ, отвечаете снова – и так по кругу. Информация циркулирует.
Важно. Сеть Хопфилда – это рекуррентная сеть, но она не обрабатывает последовательности. Она работает как ассоциативная память: подаете зашумленный паттерн – она «прокручивает» его внутри себя, пока не восстановит. А рекуррентные сети. вроде RNN, LSTM и GRU обрабатывают именно последовательности. Это разные применения одного принципа обратной связи. Поэтому в таксономии по задаче сеть Хопфилда попадает в категорию ассоциативных, а RNN – в категорию рекуррентных.
4. Ось третья: по способу обновления
Эта ось помогает понять некоторые архитектуры.
Синхронные сети
Определение. Все нейроны обновляют свое состояние одновременно, на каждом шаге.
Примеры. Большинство современных сетей (MLP, CNN, трансформеры).
Свойства. Проще в реализации, хорошо параллелизуются.
Асинхронные сети
Определение. Нейроны обновляются по очереди, в случайном порядке.
Примеры. Сеть Хопфилда (в классической формулировке).
Свойства. Гарантируют сходимость к стабильному состоянию (в сети. Хопфилда), медленнее, но надежнее.
Аналогия. Это как голосование: либо все голосуют одновременно (синхронно), либо по очереди (асинхронно). Второй способ медленнее, но позволяет каждому учесть мнение предыдущих.
5. Ось четвертая: по глубине
Однослойные сети
Определение. Только входной и выходной слои, без скрытых.
Пример. Перцептрон Розенблатта.
Свойства. Могут решать только линейно разделимые задачи.
Многослойные (глубокие) сети
Определение. Один или несколько скрытых слоев между входом и выходом.
Примеры.MLP, CNN, RNN, трансформеры.
Свойства. Могут решать нелинейные задачи, строить иерархии признаков.
6. Сводная карта
Теперь, когда мы разобрали все основные оси, давайте соберем их вместе.
Итак, карта нейросетей по решаемой задаче.
Ассоциативные: сеть Хопфилда – восстановление зашумленного паттерна. Пример: восстановить нечеткое изображение буквы.
Вероятностные: машины Больцмана (BM, RBM) – генерация новых данных, моделирование распределений. Исторические предшественники – цепи Маркова (статистические модели). Пример: предсказание следующего слова (исторический предшественник современных языковых моделей).
Сжимающие: автокодировщики – сжатие и восстановление данных. Пример: уменьшение размерности для визуализации, поиск аномалий.
Глубокие дискриминативные: CNN, RNN, MLP – классификация, распознавание. Примеры: распознавание лиц, перевод текста.
Глубокие генеративные: VAE, GAN, диффузия – создание новых объектов. Примеры: генерация лиц, генерация картинок по тексту.
Рекуррентные: RNN, LSTM, GRU – работа с последовательностями. Примеры: обработка текста, временных рядов.
Современные архитектуры на основе внимания: трансформеры – масштабируемая генерация и понимание. Примеры: GPT, BERT, Claude.
Спайковые: SNN – энергоэффективная обработка, приближенная к биологии. Примеры: робототехника, импланты, Edge AI.
По направлению сигнала: сети. прямого распространения (Feed-Forward) – сигнал идет только вперед (MLP, CNN, большинство трансформеров); сети. с обратными связями (рекуррентные) – сигнал циркулирует (RNN, Хопфилд).
По способу обновления: синхронные – все нейроны обновляются одновременно; асинхронные – по очереди (важно для сетей Хопфилда).
По глубине: однослойные – только вход и выход (перцептрон); многослойные (глубокие) – один или несколько скрытых слоев.
Сводка по архитектурам.
Чтобы увидеть картину целиком, полезно дать еще одно описание-перечисление.
Сеть Хопфилда – сеть ассоциативная, с обратными связями, асинхронная, однослойная.
Машина Больцмана (BM, RBM) – вероятностная, с обратными связями, асинхронная; BM – многослойная, RBM – двухслойная.
Автокодировщик – сеть сжимающая (но может использоваться и для генерации, и для поиска аномалий), прямого распространения, синхронная, глубокая (энкодер + декодер).
MLP – сеть дискриминативная, прямого распространения, синхронная, глубокая.
CNN – сеть дискриминативная, прямого распространения, синхронная, глубокая.
RNN / LSTM / GRU – сеть рекуррентная, с обратными связями, синхронная, глубокая.
VAE / GAN / диффузия – сеть генеративная, прямого распространения (или комбинированная), синхронная, глубокая.
Трансформер – универсальная архитектура на основе внимания, прямого распространения, синхронная, глубокая.
SNN – сеть спайковая, может быть как с обратными связями, так и без, асинхронная (event-driven); глубокая.
Эта сводка – лишь инструмент для ориентации. Она – отправная точка, которую по мере изучения курса вы сможете дополнять своими примерами. Некоторые архитектуры занимают промежуточное положение. Например, BERT – это энкодер-only, поэтому ее часто относят к дискриминативным сетьям, хотя формально она построена на трансформере. GPT – декодер-only, поэтому его относят к генеративным сетям. Трансформер как архитектура универсален, но конкретные модели на его основе могут быть специализированы.
7. Пример из жизни
Представьте, что вы работаете в банке и хотите находить мошеннические транзакции. Как это сделать с помощью автокодировщика?
а. Вы обучаете автокодировщик на нормальных транзакциях. Он учится сжимать их до компактного кода и восстанавливать обратно.
б. Теперь подаете ему новую транзакцию. Если она похожа на нормальные – сеть восстанавливает ее хорошо (ошибка маленькая). Если не похожа – восстановление плохое (ошибка большая).
в. Большая ошибка – сигнал: возможно, это мошенничество.
Почему это работает? Автокодировщик выучил «нормальное» распределение транзакций. Все, что выходит за его пределы, – аномалия.
Почему это удобно? Вам не нужно иметь размеченные данные о мошенничестве (их мало). Достаточно нормальных транзакций (их много).
Это лишь один пример. Но он показывает, как тип архитектуры (автокодировщик) определяет подход к задаче (поиск аномалий через восстановление).
8. Заключение
Теперь у нас есть система координат, в которой мы можем ориентироваться.
Мы увидели, что нейросети. классифицируются по нескольким осям: по решаемой задаче (ассоциативные, вероятностные, сжимающие, дискриминативные, генеративные, рекуррентные, архитектуры на основе внимания, спайковые), по направлению сигнала (Feed-Forward и рекуррентные), по способу обновления (синхронные и асинхронные), по глубине (однослойные и многослойные).
Мы также увидели историческую линию развития: от ассоциативных и вероятностных моделей – к глубоким дискриминативным и генеративным сетям – и далее к универсальным архитектурам на основе внимания.
Кроме того, автокодировщики учатся компактному представлению данных.
Теперь, когда мы будем изучать конкретные архитектуры, мы будем «расставлять флажки» на этой карте: например, CNN – это глубокая дискриминативная сеть прямого распространения, RNN – это рекуррентная сеть с обратными связями, трансформер – это универсальная архитектура с механизмом внимания.