Это одна из старейших проблем философии сознания - проблема "перевернутого квалиа" (inverted qualia). Ты очень точно ее сформулировал.

Наука тут упирается в принципиальный барьер: нейронауки могут измерить активность нейронов и электрические сигналы, но не могут измерить субъективный опыт (qualia). Мы знаем что колбочки S-типа реагируют на волну 440 нм и у всех людей с нормальным цветовосприятием это работает одинаково на уровне физиологии. Но что происходит дальше - когда сигнал превращается в ощущение - туда у нас нет инструментов.

Что говорит против полного субъективного разнобоя: цветовое восприятие у людей очень похоже на уровне поведенческих реакций (теплые цвета повышают пульс, синий успокаивает - и это работает кросс-культурно). Если бы каждый видел совсем по-своему, такой универсальности не было бы.

Что говорит за то что различия все-таки есть: люди со здоровым зрением реально расставляют границы цветов чуть по-разному. Один считает конкретный оттенок бирюзовым, другой - зеленым. Это не только вопрос слов.