Je suis celui qui a rendu PortAudio compatible avec le plugin ALSA de PulseAudio:
http://sites.music.columbia.edu/pipermail/portaudio/2008-November/008990.html
http://sites.music.columbia.edu/pipermail/portaudio/2008-December/009023.html
http://sites.music.columbia.edu/pipermail/portaudio/2008-December/009024.html

Au moins à l'époque, ça marchait moyennement bien, il y avait quand-même quelques problèmes (de qualité du son) qui ont fait que Espeak a développé un backend PulseAudio natif en plus de son backend PortAudio. (J'ai d'ailleurs contribué un patch là-bas pour permettre un choix en temps d'exécution plutôt qu'à la compilation: https://sourceforge.net/p/espeak/bugs/78/.)

Mais maintenant, on est en 2017, ça marche peut-être mieux, et il y a aussi des projets qui font des backends natifs PulseAudio pour PortAudio:
https://github.com/bkgood/portaudio-pulseaudio
https://github.com/illuusio/portaudio-pulseaudio
https://github.com/daschuer/portaudio-pulseaudio

D'ailleurs, un autre choix pour une API de son portable est la partie son de SDL (qui peut être utilisée même si tu utilises autre chose pour afficher), c'est ce que j'ai utilisé dans TiEmu.