Il ne peut pas refuser de payer les congés, tu as un nombre de congés obligatoires à prendre dans l'année (ou indemnisé le cas échéant).

De plus, qu'elle en serait l’intérêt pour l'employeur de te garder en congé alors qu'il devra te payer tes jours supplémentaires du fait du décalage de ta date de fin (et donc les charges qui vont avec), que les jours pris de congés lui coute aussi un peut plus cher et qu'en plus tu ne veux pas rester ?
Alors que si tu pars à la date prévu c'est toi qui est perdant vu que tu devras payer des impôts dessus.

[edit] En plus il me semble que tu peux prendre des heures durant ta période de préavis pour chercher du boulot (et qui n'est pas sur tes congés).