Изследователи от Университета в Тел Авив, Meta AI, IBM Research и Института за изкуствен интелект „Allen“ (AI2) публикуваха Standardized CompaRison Over Long Language Sequences (SCROLLS) – набор от сравнителни задачи за обработка на естествен език (NLP), работещи с дълги текстови последователности, взети от много области. Експериментите върху базови модели за NLP показват, че настоящите модели имат значителни възможности за подобрение, съобщава InfoQ.

Експериментите с еталонните и базовите модели са описани в статия, публикувана в arXiv. SCROLLS съдържа задачи за обобщаване, отговаряне на въпроси и изводи на естествен език, които обхващат множество области, включително литература, наука, бизнес и развлечения.

Първоначалните базови данни, включително Longformer Encoder-Decoder, показват, че има достатъчно възможности за подобрение на SCROLLS. Предоставят се всички набори от данни в унифициран формат текст-към-текст и се организира класация на живо, за да се улеснят изследванията на архитектурата на моделите и методите за предварително обучение.