Рендеринг целиком построен на линейной алгебре. Трансформации объектов в 3D-пространстве, проекции камеры, расчет освещения - это все матрицы 4x4. Каждый кадр фильма с CGI по сути результат миллионов матричных умножений.
Дальше. Физические симуляции (вода, огонь, разрушения, ткань) - это численные методы решения дифференциальных уравнений в частных производных. Уравнения Навье-Стокса для жидкостей, волновые уравнения для взрывов. Pixar и Weta Digital держат в штате людей с PhD по вычислительной математике именно для этого.
Отдельная тема - NURBS-поверхности и сплайны для моделирования гладких форм. Это дифференциальная геометрия и теория аппроксимации.
Еще ray tracing (трассировка лучей) - по факту задача из вычислительной геометрии. Пересечение луча с миллионами треугольников за доли секунды требует BVH-деревьев и хитрых алгоритмов пространственного разбиения.
Из менее очевидного: motion capture использует статистику и фильтрацию (фильтр Калмана), а алгоритмы деноизинга в рендерерах типа Arnold или RenderMan опираются на теорию вероятностей (метод Монте-Карло).
Если хочешь копнуть глубже, почитай SIGGRAPH papers. Это конференция, где публикуют исследования по компьютерной графике, и там математики больше чем в иных журналах по прикладной математике.
Вот это уровень ответа. Спасибо огромное, пошел гуглить SIGGRAPH papers. Про фильтр Калмана в motion capture вообще не знал