Tu vas me dire alors "Mais comment fait-on la distinction de couleurs" ? Et bien c'est simple... on ne la fait pas.
Je t'ai fait un petit exemple ci-dessous.
"Test de luminosité"
À intensité lumineuse égale, en l'absence de couleur il est impossible de distinguer la forme du 8. C'est ce que peuvent voir ceux qui souffrent d'un daltonisme total.
Aussi, dans un film ou photo en noir et blanc, l'un des éléments majeurs de la construction de l'image est un fort contraste. Une différence poignante d'intensité lumineuse entre les différentes couleurs adjacentes permettra en noir et blanc d'avoir une meilleure distinction des formes et des contours.
En photographie argentique ou numérique, la lumière reçue est toujours aveugle de couleurs pour la pellicule/capteur. C'est un filtre de couleur superposé à ce/cette dernière qui va permettre de connaître quelles couleurs sont captées en chaque point.
Par ailleurs, la couleur en n&b ne peut être récupérée. La colorisation d'un ancien film n&b (pensez aux vieux Fernandel par exemple) se fait à la manière d'un dessin animé : image par image, on ajoute des aplats de couleurs sur les différentes parties. Alors oui, c'est un sacré travail. D'autant qu'à moins de preuves visuelles (on connaît les couleurs d'un drapeau, on a le costume d'origine de l'acteur sous les yeux), il faut "deviner" quelle était la couleur de tel ou tel élément, et parfois se planter là dessus.
Ce serait amusant d'ailleurs d'avoir un film qui exploite cette limite pour briser le 4e mur, comme imaginer un cadavre au sol couvert d'une large tache au niveau du cœur, et un inspecteur se pencher pour dire "Tiens... du jaune d’œuf" quand on s'attendrait à du sang, faute de voir que c'est jaune et non rouge
C'est vrai que Tournesol rajoute de la couleur sur une image filmée en noir et blanc 
