Логин: Delete icon
Пароль:Регистрация
Логотип Физического факультета МГУ
Логотип Института ядерных исследований РАН
Кафедра физики частиц и космологии
Физического факультета МГУ
IconIconIconIconIcon
  •Главная   •ИЯИ   •Наука   •Учеба   •Курсовые и дипломы   •Люди   •Связь   •Постер

Дополнительные главы статистической обработки данных: методы машинного обучения

Лекции:Олег Калашев
Максим Пширков
Григорий Рубцов
Иван Харук
Семинары:Константин Долгих

Аннотация

Курс посвящен современным методам машинного обучения и алгоритмам анализа данных в парадигме Big Data. На примере актуальных задач физики частиц и астрофизики будут рассмотрены все этапы обработки данных от постановки вопроса до конструирования вычислительного алгоритма. Будут детально рассмотрены принципы построения и механизмы работы нейронных сетей. Курс сопровождается семинарами, проходящими в формате мастер-класса по анализу данных.

План курса

  1. Введение [Задачи-1: tex, pdf]
    • искусственный интеллект или машинное обучение? понятие Big Data;
    • задачи обработки данных: регрессия, классификация и автокодирование данных;
    • обучение с учителем и без учителя; где найти учителя?
    • инструментарий: роль библиотек и кода собственной разработки;
    • примеры научных задач, решаемых методами машинного обучения;
  2. Деревья решений [Задачи-2: tex, pdf] [Код на Python для построения простого дерева решений: simple_dt_classif.py]
    • алгоритм работы дерева решений для регрессии и классификации;
    • бустинг - усиление алгоритма машинного обучения; алгоритм AdaBoost;
    • метод случайного леса (Random Forest);
  3. Нейронные сети прямого распространения [Задачи-3: tex, pdf]; [Задачи-4: tex, pdf]; [Задачи-5: tex, pdf] [Задачи-6: tex, pdf]
    • биологические нейронные сети;
    • персептрон; выбор функции активации;
    • подготовка входных данных для машинного обучения: нормирование, декорреляция, другие преобразования;
    • многослойный персептрон;
    • обучение нейронных сетей, функция стоимости;
    • алгоритм обратного распространения ошибки;
  4. Оптимизация нейронных сетей [Задачи-7: tex, pdf]
    • проблема переобучения и методы регуляризации;
    • глубокие нейронные сети; проблема обнуления градиентов;
    • остаточные нейронные сети;
      • [Пример на colab: residual_layers.ipynb]
  5. Архитектуры нейронных сетей [Пример 1: keras_convnet.ipynb]; [Лекция-8: презентация]
    • сверточные нейронные сети и их разновидности; [Лекция-9: презентация ]
    • автокодировщики и генеративные модели; [Лекция-10: презентация на colab ]
    • рекуррентные НС; sequence Learning и парадигма seq2seq; [Лекция-11: презентация ]
    • использование специальных функций стоимости;
    • алгоритмы обучения нейронных сетей без учителя;

Литература

  1. Michael A. Nielsen, "Neural Networks and Deep Learning", Determination Press, 2015
  2. I. Goodfellow, Y. Bengio and A. Courville, Deep Learning textbook, MIT Press, 2016.
  3. Проект Искусственный интеллект и наука МГУ им. М.В. Ломоносова.
  4. A Neural Network Playground
  5. LazyProgrammer, Deep Learning in Python: Master Data Science and Machine Learning with Modern Neural Networks written in Python, Theano, and TensorFlow (Machine Learning in Python), Amazon publishing, 2016.
  6. LazyProgrammer, Convolutional Neural Networks in Python: Master Data Science and Machine Learning with Modern Deep Learning in Python, Theano, and TensorFlow (Machine Learning in Python), Amazon publishing, 2016.
  7. David Salvetti, Classifying Unidentified Gamma-ray Sources, Ph.D. thesis submitted to the University of Pavia, Italy, arXiv:1603.00231
  8. W.H. Press, S.A. Teukolsky, W.T. Vettering, B.P. Flannery, «Numerical recipes. The art of scientific computing» Cambridge university press, 2007.