Несколько направлений для курсовой:

Фрактальная геометрия в искусстве. Джексон Поллок интуитивно создавал фрактальные паттерны в своих дрип-пейнтингах. Ричард Тейлор из Орегонского университета доказал это математически. Фрактальная размерность его работ коррелирует с природными объектами (деревья, облака), что объясняет их визуальную привлекательность.

Тесселяция и Эшер. Мауриц Эшер использовал принципы кристаллографии и гиперболической геометрии. Его невозможные фигуры основаны на проекциях многомерных объектов. Посмотри его переписку с математиком Коксетером.

Параметрическая архитектура. Заха Хадид, Фрэнк Гери используют алгоритмические методы генерации форм. Grasshopper для Rhino позволяет создавать здания на основе математических функций.

Минимализм и геометрия. Сол Левитт, Дональд Джадд работали с чистыми геометрическими формами как самодостаточными объектами.

Оп-арт. Виктор Вазарели, Бриджит Райли используют геометрические иллюзии основанные на законах восприятия.

Из книг рекомендую "The Geometry of Art and Life" Матилы Гика и "Mathematics and Art" Линн Гэмвелл.