Нейросеть YandexGPT 2 сдала ЕГЭ по литературе

Большая языковая модель YandexGPT 2, разработанная компанией Яндекс, соответствует нескольким вариантам ЕГЭ по литературе и набрала в среднем 55 баллов.

Это выше минимального стандартного балла, необходимого для поступления в вуз (40 баллов), и близко к среднему баллу (64 балла) российских учащихся основной школы, выбравших этот предмет и специально готовившихся к экзамену. ЕГЭ по литературе включает в себя различные виды испытаний, в том числе вопросы на эрудицию, оценку стиля письма и творческих способностей. Это непростая задача для нейронной сети, но YandexGPT 2 справился со всеми испытаниями.

Первая часть теста предполагала анализ работы и ответы на вопросы по ней, а вторая - написание эссе на предложенную тему.

В рамках проверки эксперты Яндекса получили реальные варианты ЕГЭ, используемые на тренировочных экзаменах 2021-2023 годов в Центре непрерывного математического образования в Москве, и обнаружили, что ответы на эти вопросы отсутствуют в массиве данных, используемых в тренировочном YandexGPT 2.

Мы подтвердили, что их нет. Таким образом, нейронная сеть справилась с задачей не хуже учащихся любой школы, выбрав предложенные варианты и сгенерировав ответы на открытые вопросы. Валидация проводилась официальными экспертами ЕГЭ по литературе.

Разница между школьниками, сдававшими ЕГЭ и YandexGPT 2, заключается в том, что первые специально готовились к экзамену, т.е. погружались в детали предмета, а нейронная сеть действовала как бы импровизируя, т.е. опираясь только на накопленные знания, как это делает взрослый на школьном экзамене Стандартным методом тестирования нейронных сетей является тест Massive Multitask Language Understanding (MMLU), который включает вопросы из 57 предметных областей, но не оценивает ответы на открытые вопросы и творческие письменные работы По этой причине Яндекс принял ЕГЭ по литературе.