Занимаюсь ML 6 лет, последние два плотно работаю с LLM в проде.

Есть три слоя прогнозов, от уверенных к спекулятивным.

Уверен на 90%: в ближайшие 2 года основной рост будет не в качестве моделей, а в инфраструктуре вокруг них. RAG, fine-tuning, агенты, интеграция в существующий софт. Модели уже достаточно умные для 80% бизнес-задач. Проблема в том что их сложно надежно встроить в рабочие процессы. Галлюцинации, нестабильность выходов, стоимость инференса. Компании которые решат эти инженерные задачи заработают больше чем те кто гонится за бенчмарками.

Уверен на 60%: скейлинг моделей упрется в стену данных. Интернет конечен. Синтетические данные дают diminishing returns. Следующий скачок качества потребует архитектурной инновации на уровне того как трансформеры заменили RNN. Когда это случится и случится ли вообще - не знаю.

Спекуляция: мультимодальность станет нормой. Не "отдельно текст, отдельно картинки, отдельно видео", а единая модель которая понимает и генерирует все форматы. GPT-4o уже пытается, но пока кривовато. Через 3-5 лет это будет стандарт.

AGI в ближайшие 10 лет не будет. Люди путают "хорошо генерирует текст" с "понимает мир". Это разные вещи.

Все эти разговоры про "плато" я слышу с 2023 года. Каждые 3 месяца кто нибудь пишет "ну все, ИИ уперся в потолок". А потом выходит новая модель и все опять в шоке.

Люди страдают от recency bias. Первый прыжок (GPT-3 -> GPT-4) был огромным и запомнился. Дальнейшие улучшения кажутся маленькими потому что мы уже привыкли. Но если сравнить GPT-4o с GPT-3, разница колоссальная. Просто она накопилась постепенно.

Я думаю через 5 лет мы будем смотреть на GPT-4 как сейчас смотрим на GPT-2. С усмешкой.

Меня больше волнует не "куда движется ИИ" а "куда движутся рабочие места". Жена переводчик, за последний год потеряла 70% заказов. Клиенты говорят "нам ChatGPT переведет за бесплатно". Качество их не волнует.

Копирайтеры, иллюстраторы, начинающие программисты - все под ударом уже сейчас, не в теоретическом будущем. И мне как то плевать будет ли GPT-6 прорывом. GPT-4 уже достаточно чтобы убить кучу профессий.

Извините за оффтоп, накипело.

Предсказание на основе истории технологий:

1. Цикл хайпа закончится (уже заканчивается). Инвестиции в AI-стартапы сократятся, часть компаний обанкротится.
2. Технология станет обыденной. Как интернет, смартфоны, GPS. Перестанут писать статьи "ИИ написал стихотворение, МЫ ВСЕ УМРЕМ". ИИ просто будет встроен во все программы.
3. Реальная ценность проявится там, где сейчас не ждут. Не в генерации котиков, а в drug discovery, в моделировании климата, в персонализированном образовании. Скучные, незаметные применения которые реально меняют жизнь.
4. Регулирование отстанет на 5-10 лет от технологии, как всегда.

Это не пророчество. Это буквально повторение цикла каждой значимой технологии за последние 50 лет.

Забавно читать прогнозы о технологии, которая сама генерирует прогнозы лучше любого из нас))

А если серьезно, я думаю ключевой вопрос не про качество моделей а про стоимость. GPT-4 при запуске стоил $60/$120 за миллион токенов. Сейчас аналогичное качество можно получить за $1-2 через open source модели на своем железе. Через 2 года GPT-4 уровень будет бесплатным.

Вот тогда начнется самое интересное. Когда "почти AGI" будет стоить ноль, его засунут буквально везде. В холодильники, в автомобили, в каждый SaaS продукт. И это изменит мир сильнее чем следующий скачок качества.

Скажу как есть. Половина людей в этом треде рассуждает о будущем ИИ, а сами максимум попросили ChatGPT написать письмо начальнику.

Если ты реально работаешь с LLM каждый день, ты видишь и силу и слабости. Модель выдает 90% нормального текста и 10% уверенной чуши. Для болтовни на форуме этого хватает. Для медицинской диагностики или юридических документов нет.

Главный сдвиг будет не в том что модели станут умнее. А в том что люди наконец поймут для чего они годятся, а для чего нет. И перестанут либо бояться, либо боготворить.

Вы все рассуждаете про бизнес и технологии, а вопрос глубже. Генеративный ИИ впервые в истории создал ситуацию, когда машина производит контент неотличимый от человеческого. Раньше машины автоматизировали физический труд. Теперь они автоматизируют творчество, или то что мы считали творчеством.

А что если окажется что большая часть "творческой" работы - это на самом деле паттерн-матчинг? Что писать маркетинговый текст, рисовать иллюстрацию к статье, переводить документ - это не творчество, а рекомбинация существующих паттернов? И ИИ просто сделал это видимым?

Тогда вопрос "что будет дальше" переформулируется: что останется людям, когда рекомбинация паттернов будет делаться бесплатно?

пузырь лопнет как крипта в 2022. Nvidia упадет, стартапы закроются, останется 2-3 крупных игрока. Через 5 лет будем вспоминать хайп 2023-2024 и смеяться

никто не знает. вообще никто. ни Хинтон ни Лекун ни Альтман. все блефуют и делают уверенный вид

интересная тема, тоже хочу понять куда это все идет. работаю аналитиком, и за последний год чатгпт реально заменил мне гугл на 80%. страшновато немного