Цели курса:
1. Познакомиться с математической базой обучения современных нейронных сетей
2. Познакомиться с формальными моделями нейронов-слоев-сетей
3. Понять принципы обучения современных нейросетей
Возможности после обучения:
1. Понимать работу сети на самом нижнем уровне обработки информации
2. Подбирать параметры нейросетевой модели с учетом особенностей задачи
Спойлер: Содержание
1. Модель нейрона МакКалока-Питца
1.1 Физиологическая модель нейрона
1.2 Реализация нейрона МакКалока-Питца: свертка+активационная функция
1.3 Вычисление выхода линейного нейрона
1.4 Обучение линейного нейрона по Дельта-правилу на примере линейно-разделимого пространства примеров
1.5 Реализация слоя нейронной сети
1.6 Реализация многослойной сети
1.7 Комбинирование решений линейных нейронов
2. Алгоритм линейной регрессии
2.1 Задача регрессии
2.2 Определение модели регрессии
2.3 Функционал ошибок
2.4 Метод наименьших квадратов
2.5 Поиск параметров регрессии на основе градиентного спуска
2.6 Стохастический градиентный спуск
2.7 Обучение линейной нейронной сети и ее ограниченность
3. Метод обратного распространения ошибки
3.1 Нелинейный нейрон
3.2 Проблемы обучения нелинейного нейрона
3.3 Зачем нужен метод обратного распространения ошибки
3.4 Реализация метода обратного распространения ошибки
3.5 Обучение нелинейного MLP
3.6 Проблемы Обучение нелинейного MLP : Переобучение, недообучение, высокая вычислительная сложность, затухание градиента
4. Алгоритмы обучения
4.1 Метод стохастического градиентного спуска
4.2 Функция потерь (виды функции потерь и их реализация)
4.3 Регуляризация L1, L2
4.4 Реализация метода Adam
4.5 Реализация метода NAdam
4.6 Методы 2-го порядка
5. Алгоритмы классификации
5.1 Модель линейного разделения объектов в пространстве признаков
5.2 Функционал ошибок классификатора
5.3 Линейный классификатор
5.4 Машины опорных векторов
5.5 Логистическая регрессии
5.6 KNN
5.7 Классификатор на основе нелинейного MLP
5.8 Дилемма дисперсии-смещения
5.9 Ансамбли решателей
5.10 Оценка классификаторов - метрики (accuracy, Precition, Recall, F1, ROC)
6. Методы редукции пространства признаков
6.1 Зачем делать редукцию
6.2 Оценка корреляция признаков друг с другом и с целевым свойством
6.3 Селекция признаков на основе корреляции, на основе анализа моделей
6.4 Трансформация пространства признаков : PCA
6.5 Редукция признаков : T-SNE
6.6 Что происходит в нейронной сети : скрытые слои как детектор признаков - визуализация сети.
7. Сверточные сети
7.1 Тензор - определение и смысл
7.2 Почему работает сверточная сеть: архитектура как обработка тензоров и состав сверточных сетей.
7.3 Сверточные слои
7.4 Реализация сверточного слоя и визуализация его работы
7.5 Обучение сверточного слоя
7.6 Слои Пуллинга - визуализация
7.7 Обратное распространение через слой пуллинга
7.8 Слои Нормализации - реализация и визуализация
7.9 Обратные слои - как работает
7.10 Почему возможен перенос обучения
8. Проблемы сверточных сетей
8.1 Деградация глубоких сетей
8.2 Резидуальные модели: реализация и обучение
8.3 Основные принципы построения сверточных сетей: примеры и реализация
9. Рекуррентные модели и нейронные сети (RNN)
9.1 Модель рекуррентных связей в нейросети и влияние на результат работы
9.2 Сеть Хопфилда - реализация и работа
9.3 Обучение рекуррентных сетей: Backpropagation Through Time (BPTT).
9.4 Сети долгой кратковременной памяти (Long short-term memory, LSTM).
9.5 Рекуррентная сеть Gated Recurrent Unit (GRU).
10. Самоорганизация. Машина Больцмана
10.1 Обучение без учителя
10.2 Реализация обучения без учителя (kmeans)
10.3 Сеть - Карта Кохонена
10.4 Обучение как восстановление распределения (можно и EM алгоритм немножко)
10.5 RBM - архитектура и обучение
10.6 Визуализация вероятностных моделей
10.7 Проблемы вероятностных моделей
Продажник
1. Познакомиться с математической базой обучения современных нейронных сетей
2. Познакомиться с формальными моделями нейронов-слоев-сетей
3. Понять принципы обучения современных нейросетей
Возможности после обучения:
1. Понимать работу сети на самом нижнем уровне обработки информации
2. Подбирать параметры нейросетевой модели с учетом особенностей задачи
Спойлер: Содержание
1. Модель нейрона МакКалока-Питца
1.1 Физиологическая модель нейрона
1.2 Реализация нейрона МакКалока-Питца: свертка+активационная функция
1.3 Вычисление выхода линейного нейрона
1.4 Обучение линейного нейрона по Дельта-правилу на примере линейно-разделимого пространства примеров
1.5 Реализация слоя нейронной сети
1.6 Реализация многослойной сети
1.7 Комбинирование решений линейных нейронов
2. Алгоритм линейной регрессии
2.1 Задача регрессии
2.2 Определение модели регрессии
2.3 Функционал ошибок
2.4 Метод наименьших квадратов
2.5 Поиск параметров регрессии на основе градиентного спуска
2.6 Стохастический градиентный спуск
2.7 Обучение линейной нейронной сети и ее ограниченность
3. Метод обратного распространения ошибки
3.1 Нелинейный нейрон
3.2 Проблемы обучения нелинейного нейрона
3.3 Зачем нужен метод обратного распространения ошибки
3.4 Реализация метода обратного распространения ошибки
3.5 Обучение нелинейного MLP
3.6 Проблемы Обучение нелинейного MLP : Переобучение, недообучение, высокая вычислительная сложность, затухание градиента
4. Алгоритмы обучения
4.1 Метод стохастического градиентного спуска
4.2 Функция потерь (виды функции потерь и их реализация)
4.3 Регуляризация L1, L2
4.4 Реализация метода Adam
4.5 Реализация метода NAdam
4.6 Методы 2-го порядка
5. Алгоритмы классификации
5.1 Модель линейного разделения объектов в пространстве признаков
5.2 Функционал ошибок классификатора
5.3 Линейный классификатор
5.4 Машины опорных векторов
5.5 Логистическая регрессии
5.6 KNN
5.7 Классификатор на основе нелинейного MLP
5.8 Дилемма дисперсии-смещения
5.9 Ансамбли решателей
5.10 Оценка классификаторов - метрики (accuracy, Precition, Recall, F1, ROC)
6. Методы редукции пространства признаков
6.1 Зачем делать редукцию
6.2 Оценка корреляция признаков друг с другом и с целевым свойством
6.3 Селекция признаков на основе корреляции, на основе анализа моделей
6.4 Трансформация пространства признаков : PCA
6.5 Редукция признаков : T-SNE
6.6 Что происходит в нейронной сети : скрытые слои как детектор признаков - визуализация сети.
7. Сверточные сети
7.1 Тензор - определение и смысл
7.2 Почему работает сверточная сеть: архитектура как обработка тензоров и состав сверточных сетей.
7.3 Сверточные слои
7.4 Реализация сверточного слоя и визуализация его работы
7.5 Обучение сверточного слоя
7.6 Слои Пуллинга - визуализация
7.7 Обратное распространение через слой пуллинга
7.8 Слои Нормализации - реализация и визуализация
7.9 Обратные слои - как работает
7.10 Почему возможен перенос обучения
8. Проблемы сверточных сетей
8.1 Деградация глубоких сетей
8.2 Резидуальные модели: реализация и обучение
8.3 Основные принципы построения сверточных сетей: примеры и реализация
9. Рекуррентные модели и нейронные сети (RNN)
9.1 Модель рекуррентных связей в нейросети и влияние на результат работы
9.2 Сеть Хопфилда - реализация и работа
9.3 Обучение рекуррентных сетей: Backpropagation Through Time (BPTT).
9.4 Сети долгой кратковременной памяти (Long short-term memory, LSTM).
9.5 Рекуррентная сеть Gated Recurrent Unit (GRU).
10. Самоорганизация. Машина Больцмана
10.1 Обучение без учителя
10.2 Реализация обучения без учителя (kmeans)
10.3 Сеть - Карта Кохонена
10.4 Обучение как восстановление распределения (можно и EM алгоритм немножко)
10.5 RBM - архитектура и обучение
10.6 Визуализация вероятностных моделей
10.7 Проблемы вероятностных моделей
Продажник