Xorg est souvent en haut de la liste de process quand je les trie par % d'utilisation CPU, et en effet j'ai une carte nVidia avec les pilotes propriétaires.
Mais avec les pilotes libres (nv), d'après mes souvenirs l'affichage n'était pas du tout plus rapide - et j'obtenais de jolis bugs graphiques en outre mais peut-être que ça a été corrigé depuis.