Вопрос интересный и версий несколько, ни одна не является окончательно доказанной.
Версия первая - поведенческая. Петух в птичьем дворе занимает кур сзади. Метафора достаточно прямая. При этом петух в иерархии двора формально "главный", но его роль в процессе размножения воспринималась как унизительная с точки зрения тюремного кода (пассивная роль - маркер низшей касты).
Версия вторая - звуковая. В дореволюционном тюремном арго существовало выражение "пустить петуха" - поджечь. Поджигателей презирали как трусов, они оседали на дно иерархии. Со временем ярлык перешел на более широкую категорию.
Версия третья - фольклорная. В русском и украинском фольклоре петух имеет двойственный символизм. С одной стороны - солнечная птица, с другой - в народных поверьях петух связан с нечистью (крик петуха отгоняет чертей, но и сами черти иногда принимали образ петуха). Эта амбивалентность могла питать жаргон.
По всей видимости работали все три версии одновременно, взаимно усиливая друг друга. Это типичная история для жаргонных слов - у них редко одна этимология.
Сугубо российская ли традиция: в целом да, в таком специфическом виде - русскоязычная. В западных тюремных субкультурах аналогичная иерархия существует, но птичья метафора не используется.
Про "пустить петуха" как поджечь - не знал, это интересная ниточка. А версия про фольклор совсем неожиданная.