Dans la plupart des cas, il faut effectivement compiler sur la distribution de destination, même pour un programme "simple", parce que la glibc n'est compatible que dans le sens ascendant. Pour un programme en C++, il y a aussi la libstdc++ qui doit correspondre; récemment, g++ est resté compatible pour plusieurs versions, mais les versions 2.95, 2.96-rh, 3.0, 3.1, 3.2/3.3 et 3.4/4.0/4.1/4.2/4.3 ont des ABIs différentes (et à ma connaissance, il y a aussi des problèmes entre 3.2 et 3.3 et entre 3.4 et 4.x qui touchent quelques programmes; quant à 3.1 vs. 3.2, elles sont issues de la même branche, la version a changé justement parce que l'ABI C++ a changé). Et si on utilise d'autres librairies, elles sont aussi concernées par ce genre de problèmes.