Le sexe est un facteur à part, et il existe un terme dédié pour cette forme de discrimination: le sexisme. C'est différent parce que les deux sexes existeraient même si toutes les autres caractéristiques physiques étaient uniformes (le rêve des racistes ).

L'âge, la position sociale, le métier, la santé, etc., sont des facteurs variables avec le temps, ce qui fait qu'ils ne rentrent pas dans le concept de racisme. (Oui, strictement parlant, la taille varie aussi avec le temps, mais la taille d'un adulte est quand-même plus ou moins constante.) Cela dit, une discrimination par la position sociale peut être indirectement raciste si elle sert à renforcer le racisme préexistant d'une société qui ne permet pas à certaines personnes d'obtenir une bonne position sociale pour des raisons racistes (caractéristiques physiques, nationalité, religion).