Видеолекции

https://youtu.be/Mu1Zb_bbfBM; Лекция 1. Введение в машинное обучение; 1:07:41; Лекция в Казанском федеральном университете (курс «Машинное обучение», весна 2019). https://youtu.be/mQubYw0alYU; Лекция 2. Линейные модели регрессии; 1:14:22; На этой лекции по машинному обучению рассмотрены следующие темы: Постановка задачи регрессии. Целевая функция линейной регрессии и ее вывод на основе принципа максимального правдоподобия. Normal Equation: вывод формулы для вычисления оптимальных параметров линейной регрессии. https://youtu.be/ZFf-qHty1eg; Лекция 3. Регуляризация линейных моделей регрессии; 0:56:39; В рамках лекции рассмотрен базовый метод регуляризации линейных моделей регрессии: Зачем нужна регуляризация. Метод Weight Decay. Как меняется целевая функция. Вычисление параметров модели при использовании регуляризации. https://youtu.be/Oyxz6bNRT7g; Лекция 4. Классификация; 1:17:38; Рассмотрены следующие вопросы: Постановка задачи классификации. Основные метрики оценки точности классификации. Логистическая регрессия. Функция Softmax. https://youtu.be/3P3sI9l_bpc; Лекция 5. Логистическая регрессия; 1:09:31; Лекция посвящена алгоритму логистической регрессии. Рассмотрены следующие вопросы: Целевая функция для задачи классификации и ее вывод на основе принципа максимального правдоподобия. Градиентный спуск. Вычисления частных производных целевой функции по параметрам модели. https://youtu.be/POAYJvOpO0o; Лекция 6. Деревья решений; 1:07:09; Лекция посвящена деревьям решений для задачи классификации. Рассмотрены следующие темы: Структура дерева решений: внутренние и терминальные узлы. Обучение внутреннего узла. Виды разделяющих функций. Целевая функция: Information Gain. Критерии прекращения роста дерева. Создание терминального узла. https://youtu.be/pMm5GhsHhW8; Лекция 7. Random Forest; 0:53:57; Лекция посвящена алгоритму Random Forest. Рассмотрены следующие темы: Ансамбль классификаторов. Преимущества объединения деревьев решений в ансамбль. Как вырастить деревья разными? Bagging. Random Node Optimization. https://youtu.be/jjwH1qn_C0k; Лекция 8. Введение в AdaBoost; 1:00:06; Лекция посвящена алгоритму AdaBoost. Рассмотрены следующие темы: Обучение на взвешенной выборке. Вид сильного классификатора в AdaBoost. Обучение очередного слабого классификатора в алгоритме AdaBoost. Вычисление веса для обученного слабого классификатора. Обновление весов для элементов обучающей выборки. Математическое обоснование алгоритма AdaBoost будет дано в следующей лекции. https://youtu.be/G8ChabpYN3g; Лекция 9. Введение в AdaBoost; 1:19:19; Лекция посвящена математическим основам алгоритма AdaBoost. Рассмотрены следующие вопросы: Целевая функция алгоритма AdaBoost. Вывод целевой функции для обучения очередного слабого классификатора. Вывод формулы вычисления веса для слабого классификатора. Вывод формулы обновления весов элементов обучающей выборки. https://youtu.be/lEUTG6s5YhY; Лекция 10. Кластеризация; 1:00:07; Лекция посвящена алгоритмам кластеризации. Рассмотрены следующие вопросы: Постановка задачи кластеризации. Алгоритм k-means. Целевая функция алгоритма k-means. Вывод формул обновления весов из целевой функции. Агломеративная кластеризация. Способы вычисления расстояния между кластерами: Single-Link, Average-Link, Complete-Link.

https://youtu.be/x03dn0P82Ms; Лекция 1. Введение в глубокое обучение; 1:12:00; В рамках лекции рассмотрены следующие вопросы: Где применяется глубокое обучение? Почему появление таких алгоритмов стало возможным? Чем это принципиально отличается от неглубокого машинного обучения? https://youtu.be/bn11u_Ijf8Y; Лекция 2. Многослойный персептрон; 1:16:38; Лекция посвящена базовой архитектуре – многослойному персептрону. Рассмотрены следующие вопросы: Нейрон: входы, веса, смещение, активация, функция активации. Архитектура: многослойный персептрон. Нотация. https://youtu.be/yPriDUk1aD0; Лекция 3. Обратное распространение; 1:14:27; В рамках лекции рассмотрен метод обратного распространения — главный алгоритм обучения в AI — эффективный способ вычисления градиента целевой функции по обучаемым параметрам многослойного персептрона. Все формулы даны с выводом. https://youtu.be/8AxCSlOL81Q; Лекция 4. Введение в сверточные нейронные сети; 1:06:34; Лекция посвящена главному методу современного компьютерного зрения — сверточным нейронным сетям. Рассмотрены следующие вопросы: Что такое свертка? Чем нейрон сверточного слоя отличается от нейрона полносвязного слоя? В чем преимущества сверточных слоев? Параметры сверточного слоя: размер сверточных фильтров, количество фильтров, страйд. Метод ZeroPadding. https://youtu.be/-GeGKhsczEk; Лекция 5. Обратное распространение через сверточные слои; 0:59:20; На лекции рассмотрено обратное распространение через сверточные слои нейронной сети: вычисление частных производных по весам сверточных фильтров; вычисление частных производных по выходам нейронов предыдущего слоя; вычисление частных производных по смещениям. https://youtu.be/Uk_kbmc2ZPM; Лекция 6. Pooling-слои. Свойства сверточных слоев. Архитектура VGG.; 1:24:42; В рамках лекции рассмотрены следующие темы: слои субдискретизации: max pooling и average pooling; свойства сверточных слоев; архитектура нейронной сети VGG; процесс классификации изображений нейронной сетью VGG на этапе тестирования, который, как выясняется, отличается от этапа обучения! https://youtu.be/4qBwXKss5bY; Лекция 7. Регуляризация глубоких нейронных сетей; 0:44:44; В рамках этой лекции рассмотрены основные подходы к регуляризация нейронных сетей: Weight Decay; Data Augmentation; Dropout; Label Smoothing. https://youtu.be/7ch141j043o; Лекция 8. Batch Normalization; 0:57:46; В рамках лекции рассмотрена пусть не самая удобная, но точно самая распространенная техника нормализации — Batch Normalization. Это последний шаг к полному пониманию ResNet, которой посвящена следующая лекция. Лекция раскрывает следующие вопросы: Что такое Batch Normalization? Какие есть объяснения тому, почему это работает? Как вычисляются производные через Batch Normalization? https://youtu.be/QlC3Qt2Jl0M; Лекция 9. Residual Networks; 0:39:15; Лекция посвящена главной сверточной архитектуре в компьютерном зрении — ResNet! Так как к данному моменту мы с вами изучили все необходимые компоненты, то можно уверенно приступать к Residual Networks, которые могут иметь сотни слоев и при этом эффективно обучаться. В рамках лекции рассмотрены следующие вопросы: Эффект Training Degradation; Residual Connection, Residual Block; Архитектура ResNet; Свойства нейронных сетей ResNet. https://youtu.be/2aX90Re6xEI; Лекция 10. Тонкости обучения и масштабирования нейронных сетей; 0:58:32; В рамках лекции рассмотрены следующие способы повышения точности глубоких нейронных сетей: Обучение со стохастической глубиной; Линейное масштабирование коэффициента обучения; Learning Rate Warm-up; Cosine Learning Rate Decay; Нулевое значение гаммы в Batch Normalization; Недобавление смещений в Weight Deay; Label Smoothing; Mixup Data Augmentation. Помимо этого рассматривается метод масштабирования нейронных сетей EfficientNet. https://youtu.be/5S349SLfoyE; Лекция 11. Методы оптимизации в обучении глубоких нейронных сетей; 0:47:11; В рамках лекции рассмотрены следующие методы оптимизации, использующиеся в обучении глубоких нейронных сетей: Batch Gradient Descent; Stochastic Gradient Descent; Mini-Batch Gradient Descent; Momentum; Nesterov Accelerated Gradient; AdaGrad; Adam.

https://youtu.be/mvA038KeZ1c; Лекция 1. Введение; 0:48:10; Вводная лекция, рассматриваем задачи компьютерного зрения, вспоминаем архитектуру ResNet. https://youtu.be/GpMt0S8w9WI; Лекция 2. Локализация объектов; 1:08:17; Рассмотрены следующие вопросы: Задача локализации объектов; Основные метрики; Локализация объектов с помощью нейронной сети VGG; Weakly Supervised Object Localisation: Class Attention Maps. https://youtu.be/LWiiHqI4Bg8; Лекция 3. Введение в обнаружение объектов; 1:11:36; Это вводная лекция про обнаружение объектов. Мы рассмотрели основную метрику точности обнаружения объектов — Mean Average Precision — и метод weakly supervised object detection — Class Activation Maps. https://youtu.be/F5nMyPtCOdM; Лекция 4. Обнаружение объектов: Single-Shot Detector; 1:23:24; Лекция посвящена задаче обнаружения объектов и методу Single-Shot Detector (SSD). В рамках лекции рассмотрена архитектура SSD. Обратите внимание, эти вопросы будут рассмотрены в следующей лекции: целевые функции SSD; особенности процесса обучения. https://youtu.be/gq-Ovg-xkic; Лекция 5. Сегментация изображений. Архитектура U-Net; 1:12:50; Первая часть лекции посвящена завершению предыдущей лекции на тему "Single-Shot Detector", мы рассмотрели целевую функцию SSD и процедуру обучения. Основная часть лекции посвящена задаче сегментации изображений и архитектуре U-Net. В рамках лекции рассмотрены следующие вопросы: постановка задачи сегментации изображений; метрики в задаче сегментации; архитектура U-Net для сегментации изображений. https://youtu.be/mnZX_9JMSpg; Лекция 6. Распознавание лиц; 0:54:39; В рамках лекции рассмотрены следующие вопросы: как вообще подойти к задаче распознавания лиц? целевая функция Triplet Loss; метод выбора изображений для построения триплетов. https://youtu.be/JcYxDuuixRM; Лекция 7. Image Retrieval; 0:58:31; Лекция посвящена Image Retrieval – задаче поиска изображений по содержимому в большой базе. В рамках лекции рассмотрены следующие вопросы: постановка задачи; базовые понятия; метрики оценки точности; метод вычисления векторного представления изображения Divide & Conquer (CVPR 2019). https://youtu.be/AsKNXnUXDHY; Лекция 8. После ResNet: DenseNet, SENEt (SE-ResNet); 0:43:31; Лекция посвящена некоторым модификациям самой главной сверточной архитектуры — ResNet. Эти модификации: DenseNet и SENet (SE-ResNet). Мы обсудим, в чем заключается основная идея и насколько существенный прирост в точности это дает.