Ответ кроется в анатомии обонятельного пути - он принципиально отличается от всех остальных чувств.

Любой другой сигнал (зрение, слух, прикосновение, вкус) сначала идет через таламус - это такой "переключатель" в центре мозга, который фильтрует и маршрутизирует информацию. Только после таламуса сигнал попадает в кору и в лимбическую систему.

Запах работает иначе. Обонятельный нерв идет напрямую в обонятельную луковицу, а оттуда сразу в миндалину (amygdala) и гиппокамп - без таламуса. Миндалина отвечает за эмоциональную окраску воспоминаний, гиппокамп за их формирование и хранение.

Поэтому запах бабушкиного пирога за долю секунды поднимает детское воспоминание с эмоцией, минуя "цензуру" сознательной обработки. Это называют феноменом Пруста - он описал этот механизм в романе задолго до нейронауки.

Вкус при этом сам по себе намного беднее, чем нам кажется - рецепторы языка различают только сладкое, соленое, кислое, горькое и умами. То что мы называем "вкусом" еды - это на 70-80% запах, который мы чувствуем ретроназально (через горло изнутри). Поэтому при насморке еда теряет вкус.