Je ne sais pas si tu trouveras quoi que ce soit au niveau de VLC.

Le problème, c'est qu'en temps normal, VLC (et les autres lecteurs vidéo) ne redimensionnent pas la vidéo eux-mêmes ; même le post-processing ne change pas la taille de l'image. En gros le lecteur vidéo envoie à la CG des images qui ont la taille d'origine de la vidéo, et c'est la CG qui redimensionne ça à la volée pour pouvoir te l'afficher en plein écran ou dans une fenêtre plus grande ou plus petite que la taille d'origine.

Pour résoudre ton problème, il faudrait que le lecteur vidéo envoie des images à la taille native de la fenêtre/écran, pour que le redimensionnement de la CG émulée ne soit pas utilisé. Je ne sais pas si c'est prévu.