Скейлинг трансформеров упрется в потолок, это уже видно по кривым потерь. Следующий рывок скорее всего придет из гибридных архитектур - что то между нейронными сетями и символьными системами. Нейросимволические подходы обсуждаются с 90х, но сейчас впервые есть вычислительная база чтобы это проверить серьезно.

Второе направление - мировые модели (world models). Текущие LLM предсказывают следующий токен, они не строят внутреннюю модель мира. LeCun и его группа в Meta активно толкают эту идею. Если получится модель которая планирует действия в физической реальности а не просто предсказывает текст - это качественный скачок.

Третье - эффективность. Квантизация, дистилляция, SSM-архитектуры (Mamba например). Гонка не только за мощью но и за тем чтобы AGI-уровень поместился на чип размером с телефон.

Честно: никто не знает. И это не уклончивый ответ, это важная часть ответа.

В 2019 году GPT-2 казался пределом для языковых моделей. В 2022 никто не предсказывал ChatGPT как массовый продукт. Поле развивается настолько быстро что 10-летние прогнозы в нем стоят меньше чем в любой другой технологической области.

Что можно сказать с уверенностью: ИИ-ассистенты встроятся во все интерфейсы за 3-5 лет. Это уже происходит. Отдельный вопрос про AGI - сильный искусственный интеллект уровня человека - тут диапазон оценок от "никогда" до "уже через 2 года" и серьезные исследователи стоят на всех позициях этого спектра.

Весь хайп вокруг AGI это просто маркетинг венчурных фондов которым надо обосновать оценки в сотни миллиардов. Реальный ИИ решает узкие задачи и делает это хорошо: распознавание образов, предсказание белков, генерация текста. Все.

Никакого "понимания" там нет, это статистика на очень большом масштабе. Через 20 лет будет та же статистика на еще большем масштабе. Философы и когнитивисты смеются над претензиями на сознание, просто их не слушают потому что они не продают акции.

С практической стороны: мультиагентные системы это то что изменит рынок труда раньше чем AGI. Уже сейчас можно запустить несколько специализированных моделей которые работают параллельно над одной задачей. Через 5 лет это будет стандартный инструмент для программирования, юридической работы, медицинской диагностики.

Не одна умная модель а оркестр специализированных агентов. Это не революция архитектуры, это революция применения.

Регуляторика убьет половину сценариев которые тут обсуждаются. EU AI Act уже принят, Китай регулирует генеративный ИИ с 2023. Реальный горизонт развития будет определяться не технологическим потолком а тем что разрешат делать правительства. Это сильно недооценивают когда рисуют прогнозы.

Энергопотребление - вот ограничение которое никто не хочет обсуждать. Один большой запрос к GPT-4 потребляет в сотни раз больше электричества чем поисковый запрос Google. Датацентры уже жрут столько что это заметно в энергобалансе целых регионов. Чтобы прийти к AGI уровня который описывают фантасты нужно либо принципиально более эффективное железо либо новая архитектура которая умеет то же самое за 1000x меньше вычислений.

ИИ это инструмент корпораций для тотальной слежки и оптимизации труда под ноль. Будущее ИИ - это когда тебя уволят и заменят подпиской за 20 баксов в месяц. Остальное лирика.

просто оставлю ссылку на канал Andrej Karpathy на ютубе, он объясняет архитектурные вещи лучше чем любой ответ на форуме