Honnêtement j'ai pas trop lu ce que tu voulais faire, mais un truc du genre HashMap<Number, Number> ça fait pas plus ou moins pareil ? Évidemment ça pert un peu d'info mais si tu peux passer de l'un à l'autre de toute façon... ?
Vu de loin et d'après ce que j'ai compris, ce que tu fais sembles un peu borderline donc à la rigueur...

(mais j'ai peut-être rien compris )