Решён
Кто и как обучает искусственный интеллект?

Денис Агафонов • ChatGPT и LLM •
11.2k
5

Постоянно слышу про нейросети, ChatGPT, генерацию картинок и прочее. Но вот чего не могу понять: кто конкретно этим занимается? Это программисты сидят и вручную вбивают правила? Или машина сама как то учится?

Хотелось бы понять сам процесс, хотя бы на пальцах. Кто эти люди, какие у них профессии, и что они делают на практике. Гуглил, но везде либо слишком заумно, либо маркетинговая вода.

ChatGPTData ScienceИскусственный интеллектМашинное обучениеНейросети

5 ответов

Лучшие Новые Старые
Решение
74
Участник • 3 ответа

Если коротко и на пальцах.

Никто не сидит и не вбивает правила вручную. Это было актуально лет 30 назад, когда делали экспертные системы. Сейчас подход другой: модели учатся на данных.

Процесс выглядит примерно так:

  1. Сбор данных. Для языковых моделей типа ChatGPT берут гигантские объемы текста из интернета, книг, статей, форумов. Для распознавания изображений собирают миллионы картинок с подписями. Этим занимаются дата-инженеры, они пишут скрипты парсинга и чистят мусор из данных.

  2. Разметка. Часть данных размечается вручную. Например, тысячам людей (асессорам) показывают картинку и просят ответить: "это кошка или собака?". Или дают два ответа нейросети и просят выбрать лучший. Компании типа Scale AI или Toloka нанимают сотни тысяч людей для разметки, часто на аутсорсе в странах с дешевой рабочей силой.

  3. Обучение модели. ML-инженеры и ресерчеры проектируют архитектуру нейросети (сколько слоев, какого типа, какие функции активации), выбирают функцию потерь и запускают обучение на GPU-кластерах. Один прогон обучения GPT-4 стоил, по разным оценкам, от 50 до 100 млн долларов на вычислительные ресурсы.

  4. Fine-tuning и RLHF. После базового обучения модель дообучают на конкретные задачи. Для ChatGPT использовали RLHF (Reinforcement Learning from Human Feedback): живые люди оценивали ответы модели, и на основе этих оценок модель корректировала свое поведение.

Профессии, которые в этом участвуют:

  • ML-ресерчер (придумывает архитектуры и алгоритмы)
  • ML-инженер (реализует и запускает обучение)
  • Дата-инженер (собирает и чистит данные)
  • Дата-аналитик (анализирует результаты экспериментов)
  • Асессор/разметчик (ручная разметка, самая массовая позиция)
  • MLOps-инженер (инфраструктура для обучения и деплоя)

Так что за словами "ИИ обучился" стоят тысячи людей и миллиарды долларов.

Аватар Денис Агафонов
Денис Агафонов Автор

Вот это разложил, спасибо! Про асессоров вообще не знал, думал там все автоматизировано

15
Участник • 2 ответа

Грубо говоря, ИИ обучают данными. Много-много данных. Скармливаешь модели миллионы примеров, она находит закономерности. Остальное детали.

Если хочешь вникнуть глубже без заумности, посмотри на ютубе канал 3Blue1Brown, у него серия видео про нейросети. Визуализация шикарная, даже школьник разберется.

23
Участник • 1 ответ

Мне вот что интересно в контексте этого вопроса. Все говорят "обучают ИИ", как будто это какой то ученик сидит за партой. А по факту никакого интеллекта там нет. Это статистическая модель, которая предсказывает следующее слово на основе вероятностей. Она не "понимает" ничего. Не думает. Не рассуждает.

Когда ChatGPT выдает тебе складный текст, он не сочиняет его в человеческом смысле. Он генерирует токен за токеном, каждый раз выбирая наиболее вероятное продолжение на основе миллиардов примеров, которые видел при обучении.

Поэтому вопрос "кто обучает ИИ" содержит ложную предпосылку. Корректнее спросить: "кто настраивает параметры статистической модели". И ответ: инженеры с помощью градиентного спуска и больших GPU-кластеров.

Аватар Лена
Лена

Ну это уже спор о терминах. Человек спросил кто обучает, ты ему про философию сознания)) Хотя мысль верная, конечно

41
Участник • 1 ответ

Работаю в ML-команде крупного банка, расскажу как это выглядит в реальности, а не в красивых статьях.

80% времени уходит на данные. Не на обучение модели, не на подбор архитектуры, а на тупую рутину: собрать данные из пяти разных баз, почистить дубли, разобраться почему в одной базе дата в формате DD.MM.YYYY а в другой YYYY-MM-DD, заполнить пропуски, убрать выбросы. Это самая скучная и самая важная часть работы.

15% времени занимают эксперименты. Запускаешь обучение, ждешь пока считается (иногда часами), смотришь метрики, меняешь гиперпараметры, запускаешь снова. И так по кругу.

5% это то, что показывают на конференциях: прорывная архитектура, красивые графики, вау-эффект.

Так что если вам кажется что за ИИ стоят гении в белых халатах, нет. За ИИ стоят уставшие дата-инженеры, которые третий день пытаются разобраться почему в данных за март 2023 пропало 40% записей.

7
Участник • 1 ответ

А вы не задумывались, ПОЧЕМУ обучение GPT-4 стоит 100 миллионов? Куда идут эти деньги? На электричество для GPU. А GPU производит NVIDIA, которая за последний год выросла в цене акций в 3 раза. А кто главный покупатель? Microsoft, Google, Meta.

То есть несколько корпораций контролируют весь процесс создания ИИ: железо, данные, модели. А нам говорят "ИИ для всех". Для всех, кто может заплатить 100 млн за обучение одной модели.

Открытые модели типа LLaMA это красивая ширма. Meta выкладывает веса, но попробуй дообучи их без кластера на 1000 GPU.

Написать ответ

Визуальный редактор (WYSIWYG)
Премодерация гостей

Вы отвечаете как гость. Ваш ответ будет скрыт до проверки модератором. Чтобы ответ появился сразу и вы получали репутацию — войдите в аккаунт.

Или войдите в систему
Будьте вежливы и соблюдайте правила платформы.