Коротко: математическая бесконечность - формальный объект аксиоматики, работает идеально. Физическая - красный флаг, означает что теория дала сбой на граничных условиях. Вселенная, судя по всему, принципиально конечна хотя бы локально (наблюдаемая ее часть точно конечна).

В математике - да, строго существует. Кантор в 19 веке показал что бесконечностей даже несколько: счетная (натуральные числа) и несчетная (вещественные числа). Причем несчетная "больше" счетной в точном математическом смысле. Это не метафора, это доказанная теорема.

В физике - другая история. Физические бесконечности (в сингулярностях черных дыр, в начале Большого взрыва) действительно считаются симптомом неполноты теории, а не реальным физическим явлением. Стивен Хокинг прямо писал что появление бесконечности в уравнениях означает что теория "сломалась" в этой точке и нужна более глубокая модель.

Общая теория относительности предсказывает сингулярность, но квантовая гравитация (которой у нас пока нет в завершенном виде) скорее всего уберет эту бесконечность, заменив ее на что то конечное но очень большое.

Так что инфинити в математике - инструмент с точным определением. В физике - сигнал что модель нуждается в починке.

Если добавить про разные виды бесконечности в математике - там вообще кроличья нора. Гипотеза континуума, аксиома выбора, ординалы и кардиналы. Кантор от этого в итоге сошел с ума (буквально, умер в психиатрической клинике). Математика бесконечности не для слабонервных.

Есть красивый мысленный эксперимент - Отель Гильберта. Отель с бесконечным числом номеров, все заняты. Приезжает новый гость - и его все равно можно заселить, попросив каждого жильца переехать в следующий номер. Это наглядно показывает почему бесконечность ведет себя не как просто "очень большое число".