Oui la meilleur solution est de ne jamais utiliser PulseAudio.

D'ailleurs c'est faut ALSA n'est pas un accès direct au hardware, c'est deja une abstraction. Ce qui est le plus proche du hardware est OSS.