320x240 = 76800 pixels, soit 1843200 bits @ 24 bpp.
S'il n'y a pas de moyen de compresser l'image de manière significative (encodage bitmap, encodage opérations constitutives et encodage delta tous trois inefficaces sur l'application), de toute façon, on ne peut pas dépasser 4 FPS sur un ADSL 8 Mbps.

J'imagine que ça ne va pas beaucoup mieux avec des technos comme VNC ou NX qu'avec du X11 classique ?