Вся история начинается с фотоэффекта - открытия Эйнштейна, за которое он и получил Нобелевскую премию (не за теорию относительности, как многие думают). Фотон выбивает электрон из полупроводника. Это физическая основа всего.
Сам прибор с зарядовой связью - ПЗС или CCD - придумали в Bell Labs в 1969 году. Уиллард Бойл и Джордж Смит, тоже нобелевские лауреаты. Изначально это разрабатывалось вообще для памяти компьютеров, а не для фотографии. Первая камера на CCD появилась в 1975 году в Kodak - инженер Стив Сассон собрал устройство весом 3,6 кг, которое делало черно белый снимок 0,01 мегапикселя и записывало его на кассету. Одна фотография - 23 секунды.
Как работает матрица: каждый пиксель это маленький конденсатор из кремния. Когда на него падает свет, фотоны выбивают электроны, они накапливаются в конденсаторе. После экспозиции считываем накопленный заряд - он пропорционален яркости. Цвет получают с помощью фильтра Байера - разные пиксели закрыты красным, зеленым или синим фильтром (зеленых вдвое больше, потому что глаз к ним чувствительнее). Потом процессор интерполирует недостающие цвета для каждого пикселя.
CMOS матрицы работают по тому же физическому принципу, но у каждого пикселя свой усилитель - поэтому они быстрее и экономичнее. Сейчас почти все камеры на CMOS.
Про фильтр Байера не знал вообще - это очень интересно что зеленых вдвое больше. Спасибо за подробный ответ!