Tant que c'est des toutes petites quantités, le fromage c'est pas trop grave je pense. C'est pas véritablement toxique en soi, c'est juste qu'ils perdent la faculté de digérer le lactose quand ils commencent à se nourrir par eux-mêmes*, donc c'est déconseillé. Mais le fromage est moins riche en lactose que le lait (la quantité exacte dépend de la variété de fromage), et une personne intolérante au lactose de ma famille mange un peu de fromage quand même, sur les conseils de son médecin (pour l'apport en calcium, je crois).

D'ailleurs ils disent grosso-modo la même chose sur une autre page :

https://www.la-spa.fr/prendre-soin/chats/alimentation-du-chat/peut-on-donner-du-lait-au-chat/
La plupart des problèmes rencontrés avec le lait proviennent du lactose. Bonne nouvelle pour les animaux qui souffrent d’une intolérance sévère : les autres produits laitiers en contiennent beaucoup moins ! Très appréciés par nos amis félins, le yaourt, le fromage blanc et le fromage sont un plan B idéal pour que votre matou profite de saveurs lactées sans être malade. La mauvaise nouvelle, c’est qu’ils sont aussi plus gras et plus caloriques. Des aliments délicieux, certes, mais à déguster seulement comme une friandise, avec modération. Par ailleurs, tous les produits laitiers sans exception sont déconseillés aux chats allergiques car ils contiennent des protéines du lait.

* comme tous les autres mammifères d'ailleurs, c'est l'homme qui est une exception sur ce plan. Et encore, ce n'est pas vrai pour tous les groupes ethniques.