Il existe une variable spécialement créée pour ça dans un dialog. Elle est stockée sous le nom "ok"
Après l'affichage d'un popup, cette valeur est à zéro si on a appuyé sur ESC, et à un quand on valide avec ENTER.

Ce qui donne

Dialog
Text "Si tu appuies sur ESC,"
Text "j'appelle la police !"
EndDlog

if ok=0 then
Text "J'appelle la police !"
else
Text "Ça vaut mieux pour toi..."
endif