je croyais qu'on écrivait [AB].

Ben, ça dépend. C'est vrai que dans ce cas précis, ça ne pose pas de problème d'écrire [AB], mais bon, c'est l'habitude des segments dans |R

pourquoi la distance entre M et le segment [A,B] est la même que la distance de M à la droite (AB), si d(M,[A,B])=mon(d(M,A),d(M,B))

Non, ça dépend du signe de (MA | AB).(MB | AB), c'est soit l'un soit l'autre (au passage, j'ai corrigé une petite erreur dans mon premier post ).
En fait, de manière plus détaillée :
- si (MB | AB) <= 0, alors d(M,[AB]) = d(M,B)
- si (MA | AB) >= 0, alors d(M,[AB]) = d(M,A)
- sinon, d(M,[AB]) = d(M,(AB)).

Heureux?