Впервые для русского языка с нуля был разработан бенчмарк из девяти заданий, собранных и организованных по аналогии с методикой SuperGLUE. По ссылке ниже представлены исходные данные, оценка на человеческом уровне, платформа с открытым исходным кодом для оценки моделей и общая таблицу лидеров моделей трансформеров для русского языка. Набор данных состоит из 236 тысяч предложений, взятых из набора данных Lenta News.
Получить более подробную информацию о проекте, а также скачать набор данных можно по ссылке.