LEFT JOIN вместо INNER JOIN:

SELECT u.name, c.city_name
FROM users u
LEFT JOIN cities c ON u.city_id = c.id;

INNER JOIN возвращает только строки где есть совпадение в обеих таблицах. LEFT JOIN возвращает все строки из левой таблицы (users), а для тех у кого нет города - ставит NULL в колонку city_name.

Разберем все виды JOIN чтобы ты понял логику, а не просто скопировал ответ.

INNER JOIN - пересечение. Строки возвращаются только если ключ есть в обеих таблицах. Пользователь без city_id или с city_id которого нет в таблице cities - пропадает.

LEFT JOIN - все из левой таблицы плюс совпадения из правой. Пользователь без города останется, city_name будет NULL.

RIGHT JOIN - зеркально, все из правой. Редко используется, обычно просто меняют порядок таблиц и пишут LEFT.

FULL OUTER JOIN - все строки из обеих таблиц. В MySQL нет нативно, эмулируется через UNION.

Для твоей задачи нужен LEFT JOIN. Это 90% реальных запросов с соединением таблиц - один главный объект (users) и опциональные данные к нему (город).

Кстати если хочешь понять JOIN визуально - загугли "SQL joins venn diagram". Картинка с кругами Эйлера объяснит за 10 секунд то что я писал бы 3 абзаца.