ReBased

ReBased — это инновационная архитектура, разработанная учёными T-Bank AI Research. Она требует меньше вычислительных ресурсов и ускоряет работу с текстом, почти не теряя в качестве.

Это имеет значение не только для коммерческого внедрения языковых моделей, но и для экологии.

Новая архитектура основана на исследованиях стэнфордских учёных, но включает ряд усовершенствований. Одно из них — добавление новых обучаемых параметров, которые отвечают за оптимальный поиск взаимосвязей между частями текста.

Другое — упрощение алгоритма выделения информации из текста, что повысило производительность и качество работы архитектуры. В результате понимание взаимосвязей в тексте улучшилось на 10%.

Специалисты T-Bank AI провели эксперименты на датасете MQAR (Multi-Query Associative Recall), который позволяет оценить способность модели к контекстуальному обучению. Результаты экспериментов они опубликовали в статье Linear Transformers with Learnable Kernel Functions are Better In-Context Models.

Исследование было представлено на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL). Выдержки из работы приводили представители Принстонского университета и Университета Карнеги-Меллона. Они отметили, что линейные модели, подобные ReBased, будут использоваться всё чаще в комбинации с трансформерами в качестве составной части гибридных архитектур.