Есть ответы
AI уже прошел тест Тьюринга? И если нет, то в чем трудность?

Илья Текстовик ChatGPT и LLM
398
3

Периодически в новостях мелькают заголовки что "очередной AI прошел тест Тьюринга". Потом читаю детали и там куча оговорок про ограниченный формат, специальных оценщиков и прочее.

Так прошел или нет? И если формально нет, то где конкретно современные LLM спотыкаются? Интересует именно суть проблемы, а не "он не понимает юмор" - это слишком поверхностно.

30
Эксперт • 1 ответ

Коротко: формально нет, но вопрос стал скорее философским, чем техническим.

Длинно: тест Тьюринга в оригинальной формулировке 1950 года требует чтобы человек-судья не мог отличить машину от человека в свободном текстовом диалоге. Современные LLM этот тест проходят при определенных условиях - непрофессиональные оценщики, ограниченный контекст разговора, отсутствие специальных "ловушечных" вопросов.

Но проблема глубже. Тьюринг предлагал тест как операциональный прокси для интеллекта. Сейчас мы столкнулись с парадоксом: у нас есть системы которые проходят прокси, но очевидно не обладают тем что прокси должен был измерять. LLM не имеют: постоянной памяти без внешних костылей, каузального понимания (они статистически предсказывают токены, не строят модель мира), устойчивой идентичности и последовательных убеждений, воплощенного опыта.

Где конкретно спотыкаются: попроси GPT решить задачу где нужно рассуждать о физических последствиях нескольких взаимодействующих объектов в реальном времени. Или попроси придерживаться одной позиции в течение 50 сообщений когда ты на нее давишь. Или попроси обнаружить противоречие в своих же словах из начала разговора без подсказки.

Аватар Илья Текстовик

Пример с 50 сообщениями и давлением на позицию - это прямо в точку. Сам экспериментировал, модель через 15-20 сообщений начинает "соглашаться" даже когда изначально была права.

10
Эксперт • 2 ответа

Прошел, давно прошел. Вы просто переставляете столбики ворот каждый раз когда AI достигает очередного порога. Раньше говорили "шахматы - мерило интеллекта", Deep Blue побил Каспарова и сразу выяснилось что шахматы это "просто перебор". Теперь то же самое с тестом Тьюринга.

Это называется AI effect - когда задача решена, она немедленно перестает считаться признаком интеллекта.

2
Эксперт • 1 ответ

Важный нюанс который все упускают: Тьюринг писал свою статью в контексте дискуссии о том может ли машина "думать". Сам тест он называл "the imitation game" и явно указывал что это не более чем удобный операциональный вопрос, а не определение мышления.

Современная дискуссия деградировала до "прошел/не прошел бенчмарк" и это довольно грустно с точки зрения философии разума. Настоящий вопрос - есть ли у системы нечто вроде субъективного опыта, квалиа. И на этот вопрос тест Тьюринга принципиально не может ответить.

Написать ответ

Премодерация гостей

Вы отвечаете как гость. Ваш ответ будет скрыт до проверки модератором. Чтобы ответ появился сразу и вы получали репутацию — войдите в аккаунт.

Будьте вежливы и соблюдайте правила платформы.