Tu peux essayer un test-case minimaliste ?
Étape 1: Un fichier main.cpp tout propre avec un main() dedans.
Étape 2: Enregistrer une HotKey.
Étape 3: GetMessage(…)
Étape 4: Afficher un truc sur la console si le message est WM_HOTKEY.
Étape 5 => Étape 3

Ce genre de truc te permettrait déjà de t'assurer que tout marche sur le principe. C'est sans doute plus compliqué de déboguer avec ton application entière qui utilise Qt. Si tu fais marcher le cas simple, par contre, tu devrais arriver à faire marcher le cas compliqué.