Соревнование

Соревнование будет проходить на автоматической онлайн платформе, разработанной для серии мероприятий Sberbank Data Science Journey. Правила соревнования доступны по ссылке.

Задачи

Мы подготовили 2 задачи разной степени сложности. Участникам будет доступен набор данных, состоящий из параграфов текста, а также заданных по ним вопросам с соответствующими ответами. Скачать данные и отсылать решения задач следует через онлайн платформу.

A. Определение релевантности вопроса

Бинарная классификация. Можно ли по парам из параграфа текста и заданным по нему вопросам определить, какой из вопросов настоящий и был задан человеком?

Сложность: средняя
Целевая метрика: ROC-AUC
Формат решения: оффлайн разметка тестовых данных

B. Построение вопрос-ответной системы

Диалоговая система. Можно ли по паре из параграфа текста и поставленном по нему релевантному вопросу, найти в параграфе точный ответ и вывести его пользователю?

Сложность: высокая
Целевая метрика: (Macro-averaged) F1-score
Формат решения: Docker контейнер с обученной моделью

Призы

Призовой фонд составляет 2 000 000* рублей. Победители определяются автоматически.

Задача А

  • 1 место: 200 000* рублей
  • 2 место: 100 000* рублей
  • 3 место: 50 000* рублей

Победители определяются автоматически на основе таблицы рейтингов соревнования А и публикуются сразу после завершения соревнования, 1 ноября.

Задача B

  • 1 место: 1 000 000* рублей
  • 2 место: 200 000* рублей
  • 3 место: 100 000* рублей
  • 4 место: 50 000* рублей
  • 5 место: 50 000* рублей

Победители из топ-10 определяются автоматически на основе таблицы рейтингов соревнования B, но точный порядок победителей оглашается 11 ноября на Data Science Day.

Приз Жюри

  • 1 место: 250 000* рублей

Победители из топ-10 по задаче B получают возможность выиграть дополнительный денежный приз: 11 ноября на Data Science Day пройдет интерактивный финал, в котором члены Жюри конкурса будут задавать готовым диалоговым системам вопросы и оценивать их качество. Система, набравшая наибольший балл среди жюри, получает приз.

Церемония награждения и вручение призов будут происходить 11 ноября на Data Science Day.

*С приза будет удержан НДФЛ, Сбербанк выступает в качестве налогового агента.

FAQ

Список вопросов и ответов будет регулярно пополняться по ходу проведения соревнования.

Как поучаствовать в Data Science Contest?

Пройти регистрацию, заполнив форму. Разработать на предложенных данных свое решение. Загрузить решение. Посмотреть, как ваше решение выглядит на фоне других. Решения можно улучшать и загружать снова.

Какие критерии оценки решений?

Решения оцениваются автоматически, на основе сопоставления с истинными тестовыми метками, доступными только организаторам. Рейтинг по задачам вычисляется онлайн и обновляется в реальном времени.

Где будет проходить Data Science Contest?

Sberbank Data Science Contest проводиться в формате online на этом сайте.

Кто может участвовать в Data Science Contest?

К участию в Конкурсе допускаются — дееспособные физические лица, достигшие восемнадцати лет, выполнившие конкурсное задание в соответствии с требованиями Правил Конкурса

Участие бесплатно?

Да, регистрация и участие бесплатны.

Можно ли участвовать жителям других городов и стран?

Можно.

Есть ли ограничения на участие в Data Science Contest?

К участию в соревновании не допускаются лица, прямо или косвенно участвующие в подготовке задач, данных, а также организации проведения данного Конкурса.

Могут ли сотрудники группы компаний Сбербанк принимать участие в конкурсе?

Сотрудники Сбербанка могут участвовать, однако они не могут претендовать на денежный приз. В таблице рейтингов это будет отображено меткой [ooc]: "out of competition".

Будет ли церемония награждения победителей?

Да. Церемония награждения победителей пройдет 11 ноября в рамках Data Science Day, вместе с розыгрышем Приза Жюри

Какие будут призы?

Перечень призов за призовые места по каждой задаче и Приз Жюри за интерактивный финал описан выше.

Когда будет открыта регистрация?

Регистрация будет открыта с 14 сентября по 30 октября, включительно.

Можно присоединиться к участию позднее?

Да. Загрузка решений будет доступна до 31 октября 03:00:00 включительно (Московское время).

Участие индивидуальное, или можно командой?

Индивидуальное, не публичный обмен кодом в соревновании запрещен. Публично делиться примерами кода на форуме соревнования разрешено.