Да, активно используют. Основные направления:
1. Социальная инженерия и фишинг
LLM типа ChatGPT отлично пишут убедительные фишинговые письма. Раньше нигерийские спамеры палились на корявом английском, теперь письма идеальные. Плюс можно генерировать тысячи уникальных вариантов чтобы обходить спам-фильтры.
2. Генерация вредоносного кода
Напрямую ChatGPT не даст тебе написать вирус (там фильтры). Но если грамотно сформулировать запрос или использовать jailbreak-промпты - можно получить куски кода которые потом собираются в малварь. Есть специализированные "темные" LLM типа WormGPT и FraudGPT которые продаются в даркнете без ограничений.
3. Поиск уязвимостей
Нейросети хорошо анализируют код на предмет типовых уязвимостей. То на что у человека уйдет неделя - ИИ сделает за час.
4. Обход CAPTCHA
Компьютерное зрение давно научилось решать капчи лучше людей.
5. Deepfake для мошенничества
Подделка голоса руководителя чтобы по телефону попросить бухгалтера срочно перевести деньги. Уже были реальные случаи с ущербом в миллионы долларов.
Так что да, хакеры идут в ногу со временем. ИИ - это просто инструмент, и его используют обе стороны.