Хороший вопрос с точки зрения эволюционной биологии. Разбираем по частям.

Почему отбор не вытеснил инцест полностью? Потому что вредоносный эффект инбридинга носит популяционный характер, а отбор работает на уровне особи. Если конкретная особь не имеет возможности спариться с неродственной особью (малая популяция, островная изоляция, дефицит партнеров), то родственное скрещивание все равно лучше, чем отсутствие потомства. Ноль потомков - это эволюционный тупик, двое плохих потомков - лучше нуля.

Эффект Вестермарка - это механизм, который и есть основной ответ на ваш вопрос. Дети, растущие совместно с рождения до 6 лет, формируют устойчивое сексуальное безразличие друг к другу. Это не культурный запрет - это нейробиологический механизм, работающий вне зависимости от осознанности. Наблюдали на израильских кибуцах, где дети воспитываются коллективно, не связаны родством, но взрослые браки между ними крайне редки.

Интересный контрпример: иногда инбридинг адаптивен. У перепелов и некоторых других птиц обнаружили, что в условиях малой изолированной популяции умеренный инбридинг закрепляет локальные адаптации быстрее, чем аутбридинг. Иными словами, иногда выгодно зафиксировать успешный локальный генотип, даже ценой некоторого снижения гетерозиготности.

Генетически вредоносное влияние инцеста накапливается постепенно, через поколения. Первое поколение инбредных потомков часто вполне жизнеспособно. Вред виден на масштабе 5-10+ поколений. Отбор видит следующий шаг, а не десятилетия вперед.

Дополню про эффект Вестермарка с антропологической стороны.

Он объясняет происхождение культурного табу на инцест, а не является его следствием. То есть табу возникло как культурная надстройка над уже существующим биологическим механизмом отвращения. Это важное различие - большинство антропологов долгое время считали наоборот.

Еще интересно: там где механизм Вестермарка не сработал (разлученные в детстве родственники, встретившиеся во взрослом возрасте), у людей часто возникает мощное взаимное притяжение. Это описано клинически и называется "генетическое сексуальное влечение". Не миф, задокументировано.

У льва, который захватывает прайд, убивают детенышей предыдущего самца. Это жестко, но это как раз механизм против инбридинга - самки не могут размножаться с собственными отцами или братьями внутри прайда, структура группы это исключает. У многих приматов схожие механизмы расселения: самцы или самки (в зависимости от вида) покидают родную группу при половом созревании.

То есть у социальных животных поведенческие механизмы предотвращения инбридинга встроены в саму социальную структуру, а не только в психологию индивида.

Если совсем упрощенно: инцест существует потому что мозг оптимизирует под ближайшую задачу "передай гены", а не под задачу "обеспечь оптимальную генетическую диверсификацию популяции через 15 поколений". Эволюция тупая в этом смысле. Она не планировщик, она жадный алгоритм.