Ты прав насчет нейтрального употребления. Все основные матерные корни в русском языке - праславянские и имеют точные родственники в других индоевропейских языках. Латынь, греческий, германские языки - везде есть когнаты с нейтральным значением (называть части тела или процессы).
Табуизация происходила постепенно с христианизацией. Церковь вводила запреты на прямое называние всего связанного с сексуальностью и телесным низом - это общеевропейский процесс, не специфика русского. В берестяных грамотах и некоторых летописях эти слова встречаются без эмоциональной окраски.
Конкретно "мат" как явление - это контаминация двух вещей: самих слов (которые старые) и культурной практики громко произносить их как оскорбление или заклинание. Вторая часть скорее всего связана с магическими практиками - скандальный крик с использованием запретных слов был способом отогнать злых духов или напугать противника. Отсюда же "материть" как ругать.
Если хочешь глубже - ищи работы Бориса Успенского по этой теме, он разобрал вопрос очень тщательно.
Про Успенского - точно, его "Избранные труды" том 2, там целая глава. Редкий случай когда академическая работа читается как детектив.