Работаю в ML 6 лет. Попробую структурировать.
1. Рассуждение за пределами обучающей выборки. Нейросети интерполируют, а не экстраполируют. Если задача похожа на то, что модель видела при обучении, она справится. Если задача принципиально новая (out-of-distribution), модель начинает галлюцинировать или выдавать статистически правдоподобный, но неверный ответ. Пример: LLM прекрасно решают стандартные задачи по математике, но ломаются на нестандартных олимпиадных задачах, сформулированных так, чтобы не совпадать с известными шаблонами.
2. Понимание физического мира через опыт. ИИ не имеет тела. Он не знает, что такое "тяжело", "горячо", "скользко". Все его "знания" о физическом мире - это текстовые описания и картинки. Робототехника пытается решить эту проблему, но пока даже самые продвинутые роботы уровня Boston Dynamics действуют по заранее заданным паттернам, а не по реальному пониманию физики.
3. Долгосрочное планирование в условиях неопределенности. ИИ отлично играет в шахматы (конечное пространство состояний, полная информация), но плохо планирует в реальном мире, где переменные бесконечны, информация неполная, а действия необратимы. Пример: ни одна модель не может составить реалистичный бизнес-план, учитывающий рыночные, политические, кадровые и технологические риски одновременно.
4. Гарантия корректности. ИИ не умеет давать гарантии. Он выдает вероятностный ответ. Для задач, где ошибка недопустима (управление ядерным реактором, хирургия, юридически обязывающие решения), ИИ может быть помощником, но не заменой.
5. Настоящее творчество vs рекомбинация. ИИ генерирует, комбинируя паттерны из обучающих данных. Он может создать картину "в стиле Пикассо" или "в стиле аниме", но не может создать новый стиль. Пикассо изобрел кубизм, потому что видел мир по другому. ИИ видит мир через статистику пикселей.
6. Отказ от выполнения задачи по этическим соображениям (не по правилам, а по совести). Ограничения в ChatGPT и аналогах - это захардкоженные фильтры, а не моральный компас. Модель не понимает, почему что то плохо. Она знает, что за определенные ответы ее оштрафуют при RLHF.