ssh-agent est juste le truc magique qui fait que ssh-add fonctionne, rien de plus, et ce n'est pas vraiment un truc nouveau, j'ai une VM de 2007 qui l'utilise par exemple.

Ton client SSH ne doit pas etre configuré comme il faut; ou tu n'utilse pas le nom standard

snip du fichier /etc/ssh/ssh_config:

#   IdentityFile ~/.ssh/id_rsa
#   IdentityFile ~/.ssh/id_dsa
#   IdentityFile ~/.ssh/id_ecdsa
#   IdentityFile ~/.ssh/id_ed25519

Les 4 noms ici sont les noms par defaut qui sont cherché par ssh quands tu cherche a te connecter.

Si tu veux associer une clef a ssh pour un hote précis, il faut editer ton fichier ~/.ssh/config pour ajouter un truc du genre

Host server.com
    HostName server.com
    User serveruser
    IdentityFile /Users/myuser/.ssh/mykey