Orion_ (./71) :
(comme du mot sémite au passage)

Étymologiquement, tu as raison.
Maintenant, historiquement, quand Wilhelm Marr ou Adolphe Willette se targuaient d'être antisémites, leurs discours étaient quand même principalement contre les juifs. Le langage courant a fait que le mot « antisémite » se rapporte à la haine du juif.