Когда -  23-24 ноября 2020 г.

Программа и расписание - http://mlrep.org

Сайт конференции — https://conf.mipt.ru

Контакты по вопросам - mailto: info [at] mlrep.org или Telegram 

О чем пойдет речь

• reproducible research, MLops и проблемы воспроизводимости экспериментов

• neural architecture search (NAS) и автоматический выбор моделей как часть эксперимента

• полезность публикации кода, данных и эксперимента в научной сфере, проблемы доступности данных 

• построение пайплайнов обучения моделей в компании, хранение и управление конфигурацией данных

• автоматизация проведения экспериментов на учебных курсах 

Предварительная программа

Полное актуальное расписание будет на http://mlrep.org

23 ноября — Теория и практика проведения экспериментов

17:00 — 19:00 — Приглашенные доклады
 

Анализ ошибки и выбор моделей машинного обучения
Вадим Стрижов. МФТИ

Командный исследовательский процесс работы над междисциплинарными проектами
Андрей Устюжанин, НИУ ВШЭ, МФТИ, МИСиС

Задачи воспроизводимости исследований в проекте MLdev
Антон Хританков. МФТИ

19:00-20:30 — Круглый стол

Проблемы воспроизводимости исследований в науках о данных

Обсудим, как проявляется проблема воспроизводимости и повторяемости экспериментов в разных областях наук о данных, какие есть решения и при чем здесь MLops.

- Что такое воспроизводимость и невоспроизводимость?
- Качество результатов экспериментов и публикации
- Инструменты, Kaggle, MLops и что еще поможет воспроизводимости?
- Как научиться и как научить воспроизводимости?

24 ноября — Прикладные вопросы проведения экспериментов в data science

17:00 — 19:30 — Приглашенные доклады

Natural Language to Machine Learning
Александр Левин, ВШЭ

Автоматизация проверки домашних заданий на курсах по большим данным
Олег Ивченко. МФТИ

Методология реализации наукоемких проектов в области искусственного интеллекта
Алексей Гончаров. Лаборатория искусственного интеллекта МФТИ

Практика NLP экспериментов с использованием библиотеки DeepPavlov
Олег Сериков. ВШЭ, DeepPavlov

NLP for Extraction of Software Requirements from Text. Experience with BERT and Request for Information Documents
Александр Наумчев, Владимир Иванов, Андрей Садовых. Университет Иннополис

19:45 — 21:00 — Секция 63-ей Всероссийской конференции МФТИ

Список докладов уточняется

О проблеме воспроизводимости

Секция посвящена актуальной проблеме воспроизводимости результатов исследований в машинном обучении, анализе больших данных, биоинформатике и в науках о данных в целом.

Корректность и повторяемость эксперимента и воспроизводимость представленных результатов — одна из ключевых характеристик хорошей статьи в науках о данных.

Ведущие публикации помимо самой статьи все чаще включают наборы данных, исходный код и подробные описания условий проведенного эксперимента. Это позволяет другим исследователям подтвердить полученные результаты и использовать их в своих работах, воспроизводить и сравнивать с другими подходами. 

Практика таких, расширенных, публикаций способствует цитируемости и полезности результатов исследований.

В индустрии также остро стоит проблема воспроизведения и повторения результатов экспериментов, особенно, когда речь идет о алгоритмах и моделях, существенно влияющих на деятельность компаний.

Для решения целого круга задач в сфере MLops создаются инструменты по автоматизации управления жизненным циклом моделей, отслеживания изменений в данных, наблюдению за интеллектуальными системами. 

Вопросы качества результатов, повторяемости экспериментов, достоверности исследований становятся ключевыми как для научных исследований, так и для компаний.

[1] Baker M. Reproducibility crisis. Nature. 2016 May 26;533(26):353-66.
[2] Hutson M. Artificial intelligence faces reproducibility crisis. Science. 2018. 16 Feb 2018: 359(6377):725-726
[3] https://en.wikipedia.org/wiki/MLOps
[4] Why MLOps (and not just ML) is your Business’ New Competitive Frontier
[5] Sculley D, Holt G, Golovin D, Davydov E, Phillips T, Ebner D, Chaudhary V, Young M, Crespo JF, Dennison D. Hidden technical debt in machine learning systems. Advances in neural information processing systems. 2015 (pp. 2503-2511).