Скейлинг трансформеров упрется в потолок, это уже видно по кривым потерь. Следующий рывок скорее всего придет из гибридных архитектур - что то между нейронными сетями и символьными системами. Нейросимволические подходы обсуждаются с 90х, но сейчас впервые есть вычислительная база чтобы это проверить серьезно.

Второе направление - мировые модели (world models). Текущие LLM предсказывают следующий токен, они не строят внутреннюю модель мира. LeCun и его группа в Meta активно толкают эту идею. Если получится модель которая планирует действия в физической реальности а не просто предсказывает текст - это качественный скачок.

Третье - эффективность. Квантизация, дистилляция, SSM-архитектуры (Mamba например). Гонка не только за мощью но и за тем чтобы AGI-уровень поместился на чип размером с телефон.

Честно: никто не знает. И это не уклончивый ответ, это важная часть ответа.

В 2019 году GPT-2 казался пределом для языковых моделей. В 2022 никто не предсказывал ChatGPT как массовый продукт. Поле развивается настолько быстро что 10-летние прогнозы в нем стоят меньше чем в любой другой технологической области.

Что можно сказать с уверенностью: ИИ-ассистенты встроятся во все интерфейсы за 3-5 лет. Это уже происходит. Отдельный вопрос про AGI - сильный искусственный интеллект уровня человека - тут диапазон оценок от "никогда" до "уже через 2 года" и серьезные исследователи стоят на всех позициях этого спектра.