Дополнительные главы статистической обработки данных: методы машинного обучения
Лекции: | Олег Калашев |
Максим Пширков | |
Григорий Рубцов | |
Семинары: | Яна Жежер |
Михаил Кузнецов |
Аннотация
Курс посвящен современным методам машинного обучения и алгоритмам анализа данных в парадигме Big Data. На примере актуальных задач физики частиц и астрофизики будут рассмотрены все этапы обработки данных от постановки вопроса до конструирования вычислительного алгоритма. Будут детально рассмотрены принципы построения и механизмы работы нейронных сетей. Курс сопровождается семинарами, проходящими в формате мастер-класса по анализу данных.
План курса
- Введение [Задачи-1: tex,
pdf]
- искусственный интеллект или машинное обучение? понятие Big Data;
- задачи обработки данных: регрессия, классификация и автокодирование данных;
- обучение с учителем и без учителя; где найти учителя?
- инструментарий: роль библиотек и кода собственной разработки;
- примеры научных задач, решаемых методами машинного обучения;
- Нейронные сети прямого распространения [Задачи-2: tex,
pdf]; [Задачи-3: tex,
pdf]; [Задачи-4: tex,
pdf]; [Задачи-5: tex,
pdf]
- биологические нейронные сети;
- персептрон; выбор функции активации;
- подготовка входных данных для машинного обучения: нормирование, декорреляция, другие преобразования;
- многослойный персептрон;
- обучение нейронных сетей, функция потерь;
- алгоритм обратного распространения ошибки;
- Оптимизация нейронных сетей [Задачи-6: tex,
pdf]
- проблема переобучения и методы регуляризации;
- глубокие нейронные сети; проблема обнуления градиентов;
- остаточные нейронные сети;
- Архитектуры нейронных сетей [инструкция по установке keras (pdf)], [Лекция-8: презентация,
keras_lesson1.ipynb,residual_layers.ipynb], [Лекция-9: материалы (zip)], [Лекция-10: материалы (zip)], [Лекция-11: презентация].
- сверточные нейронные и их разновидности;
- автокодировщики и генеративные модели;
- рекуррентные НС; sequence Learning и парадигма seq2seq;
Литература
- Michael A. Nielsen, "Neural Networks and Deep Learning", Determination Press, 2015
- Deep Learning Tutorials
- I. Goodfellow, Y. Bengio and A. Courville, Deep Learning textbook, MIT Press, 2016.
- LazyProgrammer, Deep Learning in Python: Master Data Science and Machine Learning with Modern Neural Networks written in Python, Theano, and TensorFlow (Machine Learning in Python), Amazon publishing, 2016.
- LazyProgrammer, Convolutional Neural Networks in Python: Master Data Science and Machine Learning with Modern Deep Learning in Python, Theano, and TensorFlow (Machine Learning in Python), Amazon publishing, 2016.
- David Salvetti, Classifying Unidentified Gamma-ray Sources, Ph.D. thesis submitted to the University of Pavia, Italy, arXiv:1603.00231
- W.H. Press, S.A. Teukolsky, W.T. Vettering, B.P. Flannery, «Numerical recipes. The art of scientific computing» Cambridge university press, 2007.