Certes, ça bouffe de la place de dupliquer les binaires de la sorte. C'est moins grave sur des machines modernes, mais ça reste bête.
Mais le vrai problème, c'est que ça garde des versions dépassées, potentiellement buggées (voire vulnérables). De plus, comme le cache de DLL est fait n'importe comment sous Windows (seulement par nom et pas par path complet, comme ce serait logique...), ça peut générer des conflits si deux applications (ou plus, naturellement) utilisant des DLL GTK tournent en même temps.