Дополнительные главы статистической обработки данных: методы машинного обучения
| Лекции: | Олег Калашев |
| Максим Пширков | |
| Григорий Рубцов | |
| Иван Харук | |
| Семинары: | Константин Долгих |
Аннотация
Курс посвящен современным методам машинного обучения и алгоритмам анализа данных в парадигме Big Data. На примере актуальных задач физики частиц и астрофизики будут рассмотрены все этапы обработки данных от постановки вопроса до конструирования вычислительного алгоритма. Будут детально рассмотрены принципы построения и механизмы работы нейронных сетей. Курс сопровождается семинарами, проходящими в формате мастер-класса по анализу данных.
План курса
- Введение [Задачи-1: tex,
pdf]
- искусственный интеллект или машинное обучение? понятие Big Data;
- задачи обработки данных: регрессия, классификация и автокодирование данных;
- обучение с учителем и без учителя; где найти учителя?
- инструментарий: роль библиотек и кода собственной разработки;
- примеры научных задач, решаемых методами машинного обучения;
- Нейронные сети прямого распространения [Задачи-2: tex,
pdf]; [Задачи-3: tex,
pdf]; [Задачи-4: tex,
pdf] [Задачи-5: tex,
pdf]
- биологические нейронные сети;
- персептрон; выбор функции активации;
- подготовка входных данных для машинного обучения: нормирование, декорреляция, другие преобразования;
- многослойный персептрон;
- обучение нейронных сетей, функция стоимости;
- алгоритм обратного распространения ошибки;
- Оптимизация нейронных сетей [Задачи-6: tex,
pdf]
- проблема переобучения и методы регуляризации;
- глубокие нейронные сети; проблема обнуления градиентов;
- остаточные нейронные сети; [Пример на colab: residual_layers.ipynb]
- Архитектуры нейронных сетей [Пример 1: keras_convnet.ipynb]; [Лекция-8: презентация]
- сверточные нейронные сети и их разновидности; [Лекция-9: презентация ]
- автокодировщики и генеративные модели; [Лекция-10: презентация на colab ]
- рекуррентные НС; sequence Learning и парадигма seq2seq; [Лекция-11: презентация ]
Литература
- Michael A. Nielsen, "Neural Networks and Deep Learning", Determination Press, 2015
- Deep Learning Tutorials
- I. Goodfellow, Y. Bengio and A. Courville, Deep Learning textbook, MIT Press, 2016.
- Проект Искусственный интеллект и наука МГУ им. М.В. Ломоносова.
- LazyProgrammer, Deep Learning in Python: Master Data Science and Machine Learning with Modern Neural Networks written in Python, Theano, and TensorFlow (Machine Learning in Python), Amazon publishing, 2016.
- LazyProgrammer, Convolutional Neural Networks in Python: Master Data Science and Machine Learning with Modern Deep Learning in Python, Theano, and TensorFlow (Machine Learning in Python), Amazon publishing, 2016.
- David Salvetti, Classifying Unidentified Gamma-ray Sources, Ph.D. thesis submitted to the University of Pavia, Italy, arXiv:1603.00231
- W.H. Press, S.A. Teukolsky, W.T. Vettering, B.P. Flannery, «Numerical recipes. The art of scientific computing» Cambridge university press, 2007.
