Вопрос совсем не глупый, над ним ломают голову лучшие физики мира.
Сначала факты. На фундаментальном уровне - в уравнениях квантовой механики и общей теории относительности - время симметрично. Уравнения работают одинаково в обе стороны. Теоретически частица может лететь как вперед так и назад во времени.
Но мы наблюдаем стрелу времени - время идет только в одну сторону. Почему?
Главная гипотеза связана с энтропией. Энтропия - мера беспорядка. По второму закону термодинамики энтропия замкнутой системы всегда растет или остается постоянной, но никогда не уменьшается.
Представь: ты разбил чашку. Осколки разлетелись. Вероятность что они сами соберутся обратно - практически ноль. Не потому что это запрещено физикой, а потому что это невероятно маловероятно статистически.
Время "идет вперед" потому что мы движемся от маловероятных упорядоченных состояний к более вероятным хаотичным.
Но тут возникает вопрос: а почему в начале вселенной энтропия была низкой? Почему Большой взрыв был упорядоченным? Это называется проблема прошлой гипотезы и на нее пока нет ответа.
Есть и другие подходы. Некоторые физики считают что время - иллюзия и на самом деле все моменты существуют одновременно (блочная вселенная). Но это уже ближе к философии.
Почитай Брайана Грина "Ткань космоса", там целая глава про время и очень доступно написано
Спасибо за развернутый ответ! Про блочную вселенную можно подробнее или что почитать?