C'est un peu plus compliqué que ça :

https://www.gendarmerie.interieur.gouv.fr/nos-conseils/pour-les-usagers-de-la-route/faq-securite-routiere/les-infractions/kit-mains-libres :
En application de l’article R.412-6-1 du Code de la route, l’usage d’un téléphone tenu en main par le conducteur d’un véhicule en circulation est interdit. Cette infraction est punie d’une contravention de 2ème classe et d’une perte de deux points sur le permis.

Ainsi, le conducteur qui téléphone en utilisant un « bluetooth », un « kit main-libre » ou une « oreillette » ne saurait tomber sous le coup de cette incrimination, prévue par l’article cité supra, le code de la route ne réprimant pas l'utilisation de ces équipements.

Cependant, l’article R.412-6 du Code de la route énonce que tout conducteur doit se tenir constamment en état et en position d’exécuter commodément et sans délai toutes les manœuvres qui lui incombent. Le fait de contrevenir aux dispositions de cet article est puni d’une contravention de 2e classe.

L’utilisation d’un « bluetooth », d’un « kit main-libre » ou d’une « oreillette » en conduisant peut être réprimée par les forces de l’ordre sur le fondement de l’article R.412-6 du Code de la route.

Nous déconseillons, donc, fortement leur utilisation en conduisant, en raison des risques de déconcentration et des accidents qu’elle génère.