En fait, les codes des couleurs contemporains ont été instaurés par les protestants, essentiellement les calvinistes. Auparavant et même par la suite dans les pays catholiques, les couleurs vives étaient la norme tant chez les femmes que chez les hommes. Le rigorisme calviniste a mis de l'ordre là-dedans, et le noir, le blanc, le gris et les couleurs apparentées (bleu-gris, blanc cassé, etc.) ont peu à peu pris le dessus.
Le XIXème siècle et l'apparition des vêtements de travail en jean (bleu de travail...) a fini d'achever le tout coloré, pour le monde occidental en tout cas (une certaine occidentalisation des codes de conduite menant progressivement les autres cultures à adopter les mêmes normes tacites).
Cependant, la mode féminine devenant rapidement un marché juteux, les couleurs sont revenues rapidement sur le devant de la scène, mais sans jamais vraiment (hors certaines parenthèses très courtes, comme dans les années 80) s'étendre aux vêtements hommes.

(C'est un court résumé d'une très intéressante émission entendue sur Inter il y a quelques années, où une historienne spécialisée dans la mode était invitée pour parler d'un bouquin sur le sujet).