Bon, j'ai fini par trouver une solution. J'ai réinstallé les guest-additions, rebooté xubuntu, et ça fonctionne à nouveau... Super stable tout ça \o/


EDIT : En fait je crois que les guest-additions sautent en partie dès qu'on éjecte le CD/DVD virtuel qui a servi à leur installation... Je suis en train de tester...