Нет, не всегда. Это миф, причем вредный.
Откуда берется: мужчины в среднем реже, чем женщины, активно "прорабатывают" расставание сразу после него. Женщины чаще плачут, говорят с подругами, переживают публично. Мужчины держат в себе, отвлекаются на работу или новые отношения. Эмоция никуда не девается, она просто консервируется.
Поэтому спустя годы, когда жизнь устоялась и появилось время на рефлексию, мужчина вдруг "чувствует" что-то к бывшей. Но это не любовь. Это непрожитая часть расставания, которую он тогда задавил.
Плюс ностальгия работает у всех одинаково вне зависимости от пола - мы идеализируем прошлое. Та бывшая в воспоминаниях уже не живой человек, а образ. Образ молодости, беззаботности, каких-то конкретных ощущений.
На практике большинство мужчин, случайно встретив бывшую, довольно быстро понимают что образ и реальность расходятся.