Mesurer la sortie des chercheurs purement à partir de leurs publications pose d'ailleurs aussi d'autres problèmes dans certaines disciplines. Par exemple, beaucoup de sciences appliquées de nos jours nécessitent le développement d'algorithmes et de logiciels. Le problème est que, même dans ces cas, personne ne regarde la qualité des logiciels en question, ces logiciels ne sont dans le cas extrême même pas publiés, ou alors ils fonctionnent très mal en pratique. Les chercheurs ne sont jugés que sur le papier qui exalte le côté génial du logiciel et décrit vaguement son fonctionnement (en négligeant bien sûr tous les cas particuliers que le code doit considérer en pratique pour ne pas planter, et si le chercheur a l'intention de vendre son logiciel, la description dans le papier sera d'autant plus vague). Ce qui est vraiment intéressant pour travailler dessus, le code source, est (s'il est disponible – le code peut aussi ne pas être publié du tout, ou être publié en binaire seul, tant que le papier est bien écrit ) en général illisible et sans le moindre commentaire, parce que tout l'effort de documentation va dans le papier (logique, c'est sur ça qu'on est jugé) au détriment des commentaires dans le code source (pourtant beaucoup plus importants en pratique).