Разница есть, и ты правильно почувствовал.

Sometimes - нейтральное, самое частотное, подходит для любого контекста. Используется в разговорной речи, в текстах, везде. По шкале частоты: примерно "время от времени, бывает".

Occasionally - чуть формальнее и означает реже, чем sometimes. Ближе к "изредка, порой". В разговорной речи звучит слегка книжно, поэтому носители в обычном разговоре часто предпочитают sometimes даже когда имеют в виду нечастое событие.

At times - ближе к "временами, в отдельные моменты". Часто используется когда хочят подчеркнуть контраст: "She can be very kind, but at times she's impossible" - то есть это не постоянно, а вспышками.

From time to time - самое редкое из четырех по значению. Означает "время от времени" с акцентом на перерыв между случаями. Звучит нейтрально-разговорно.

Для большинства контекстов бери sometimes. Если нужна формальность или хочешь подчеркнуть редкость - occasionally.

Как носитель могу подтвердить ответ выше. Добавлю только: occasionally в разговорной речи часто звучит как попытка казаться умнее. Говоришь occasionally вместо sometimes - люди слегка приподнимают бровь. Не то чтобы неправильно, просто стилистически заметно.

Есть еще now and then и every now and again - очень разговорные, почти идиоматические. Означают примерно то же что from time to time, но звучат более неформально и мягко. "We go hiking every now and again" - звучит как будто говорит живой человек, а не учебник.

Честно говоря для письменного текста разница минимальна. Если не уверен - always sometimes, никогда не ошибешься.