Te prends pas la tête a vouloir utiliser du FOSS à outrance, l'interet c'est que ça fonctionne pour le moment.
Ensuite tu pourras tenter de passer à des drivers libres en prenant sur toi si tu perds le Wifi

Avant XFCE tu avais quoi comme Desktop Environment ? KDE ?
XFCE est pour sûr plus leger et déjà très personnalisable facilement. Bonne découverte de l'OS du manchot !