Логин: Delete icon
Пароль:Регистрация
Логотип Физического факультета МГУ
Логотип Института ядерных исследований РАН
Кафедра физики частиц и космологии
Физического факультета МГУ
IconIconIconIconIcon
  •Главная   •ИЯИ   •Наука   •Учеба   •Курсовые и дипломы   •Люди   •Связь   •Постер

Дополнительные главы статистической обработки данных: методы машинного обучения

Лекции:Олег Калашев
Максим Пширков
Григорий Рубцов
Семинары:Яна Жежер
Михаил Кузнецов

Аннотация

Курс посвящен современным методам машинного обучения и алгоритмам анализа данных в парадигме Big Data. На примере актуальных задач физики частиц и астрофизики будут рассмотрены все этапы обработки данных от постановки вопроса до конструирования вычислительного алгоритма. Будут детально рассмотрены принципы построения и механизмы работы нейронных сетей. Курс сопровождается семинарами, проходящими в формате мастер-класса по анализу данных.

План курса

  1. Введение [Задачи-1: tex, pdf]
    • искусственный интеллект или машинное обучение? понятие Big Data;
    • задачи обработки данных: регрессия, классификация и автокодирование данных;
    • обучение с учителем и без учителя; где найти учителя?
    • инструментарий: роль библиотек и кода собственной разработки;
    • примеры научных задач, решаемых методами машинного обучения;
  2. Нейронные сети прямого распространения [Задачи-2: tex, pdf]; [Задачи-3: tex, pdf]; [Задачи-4: tex, pdf]; [Задачи-5: tex, pdf]
    • биологические нейронные сети;
    • персептрон; выбор функции активации;
    • подготовка входных данных для машинного обучения: нормирование, декорреляция, другие преобразования;
    • многослойный персептрон;
    • обучение нейронных сетей, функция потерь;
    • алгоритм обратного распространения ошибки;
  3. Оптимизация нейронных сетей [Задачи-6: tex, pdf]
    • проблема переобучения и методы регуляризации;
    • глубокие нейронные сети; проблема обнуления градиентов;
    • остаточные нейронные сети;
  4. Архитектуры нейронных сетей [инструкция по установке keras (pdf)], [Лекция-8: презентация, keras_lesson1.ipynb,residual_layers.ipynb], [Лекция-9: материалы (zip)], [Лекция-10: материалы (zip)], [Лекция-11: презентация].
    • сверточные нейронные и их разновидности;
    • автокодировщики и генеративные модели;
    • рекуррентные НС; sequence Learning и парадигма seq2seq;
  • Задачи к экзамену: tex, pdf

Литература

  1. Michael A. Nielsen, "Neural Networks and Deep Learning", Determination Press, 2015
  2. Deep Learning Tutorials
  3. I. Goodfellow, Y. Bengio and A. Courville, Deep Learning textbook, MIT Press, 2016.
  4. LazyProgrammer, Deep Learning in Python: Master Data Science and Machine Learning with Modern Neural Networks written in Python, Theano, and TensorFlow (Machine Learning in Python), Amazon publishing, 2016.
  5. LazyProgrammer, Convolutional Neural Networks in Python: Master Data Science and Machine Learning with Modern Deep Learning in Python, Theano, and TensorFlow (Machine Learning in Python), Amazon publishing, 2016.
  6. David Salvetti, Classifying Unidentified Gamma-ray Sources, Ph.D. thesis submitted to the University of Pavia, Italy, arXiv:1603.00231
  7. W.H. Press, S.A. Teukolsky, W.T. Vettering, B.P. Flannery, «Numerical recipes. The art of scientific computing» Cambridge university press, 2007.