Mon expérience de ce type de raisonnement appliqué par des gens hauts-placés est très négative, donc je me méfie. Restructuration, réorganisation, plus lean, plus efficace... On enlève une partie du personnel via licenciements et démissions et on pense avoir enlevé les inutiles. Sauf que ceux qui restent se tapent quand même le boulot des autres soi-disant inutiles. Il y a des gens dont le job a une part importante de bullshit, c'est certain, mais évaluer réellement et de manière suffisamment transparente et convaincante pour ne pas provoquer une vague de démissions est très difficile. En plus des dégâts psychologiques sur les gens qui confondent boulot et identité, pour eux c'est violent d'entendre que leur job est inutile. J'espère bien ne jamais voir d'IA se mêler de ça.

Pour revenir à l'article, je pense que le souci vient de l'entraînement de l'IA pour satisfaire le demandeur. Un novice dans un domaine ne sait pas ce qu'il ne sait pas. Or l'IA ne sait pas qu'il ne sait pas. Mais le novice sait que l'IA sait.
Bref au final le novice ne pense même pas à pousser l'IA pour sortir de nouvelles choses, et l'IA se contente de répondre à la question sans comprendre qu'elle était incomplète.