Le père vraisemblablement voulait, et veux toujours, cet enfant. On lui a pris, pour le confier à d'autres personnes.
Je ne trouve pas que le temps passé avec eux fasse que ce père devrait perdre son enfant.
Sinon, autant ce servir n'importe où: enlever un enfant dans une crèche, se cacher 2 ans, et paf, l'enfant est à toi.
L'intérêt de l'enfant est-il de se faire enlever? Adopter?
Et l'intérêt général? Si on peux t'enlever ton enfant, sur décision arbitraire de la mère, ou de la justice?

Quelle aurait été la différence si l'enfant n'avait pas été de lui ?

C'est vrai, ça fait réfléchir.
Mais il ne peut y avoir une règle générale qui déboute le père parce que c'est un père, plutôt qu'une mère ou un couple.