Il y a plusieurs problèmes.
very (./67) :
Cette expérience nous donne quelque chose, une mesure. Significative. Voilà. C'est tout. Elle ne confirme ni n'infirme rien du tout sauf elle-même.
Oui mais le problème est de bien interpréter la mesure. En l'occurrence tu fais une mesure sur un échantillon de la population, la question : cette mesure peut-elle être extrapolée à l'ensemble de la population ? est fondamentale. Si la réponse est non, la mesure ne sert pas à grand chose, puisqu'elle ne te donne des informations que sur l'échantillon.
very (./67) :
Les hypothèses explicatives qui reposent sur ça sont justes des hypothèses vraisemblables. Les plus vraisemblables en tout cas. Faute de mieux, c'est bien normal de les évoquer. (en voilà du rasoir... )
Tu oublies que dans le cas d'une expérience aléatoire (on va prendre des gens au pif et faire la mesure sur eux), on a toujours l'hypothèse explicative suivante : la variabilité est importante dans la population et l'échantillon qu'on a pris n'était pas représentatif. La vraisemblance de cette hypothèse varie, mais la mauvaise utilisation des méthodes statistiques augmente énormément cette vraisemblance — on n'est dès lors plus dans le « faute de mieux »...
very (./67) :
Ils n'étaient pas dans une démarche "tient, on a un modèle, on va voir s'il est prédictif". Auquel cas en effet patcher le modèle à chaque expérience pour que ça "marche" montre bien que le modèle est douteux. [...] L'idée est de faire des expériences pour prendre des mesures [...] Tu voulais que ça confirme ou infirme quel modèle ?
Effectivement, je n'ai rien contre la science exploratoire, mais les méthodes statistiques couramment utilisées se trouvent être des méthodes de prise de décision ou de test d'hypothèse ; je pense justement qu'elles ne sont pas les plus adéquates, mais le fait est.
Ces méthodes ont leur place naturelle dans d'autres domaines, par exemple le contrôle qualité, ou le test d'un médicament (hypothèse typique : tel médicament a un effet positif sur l'évolution de telle maladie. Là on est pile poil dans le domaine du test d'hypothèse, et d'ailleurs aussi de la prise de décision).
Mais elles ont de gros défauts si on les utilise de façon exploratoire. En effet la question fondamentale que j'ai posée, dans quelle mesure peut-on extrapoler le résultat obtenu sur un échantillon à l'ensemble de la population, n'a pas la même réponse dans les deux domaines : il est beaucoup plus facile de généraliser dans le cas du test. Je fais une hypothèse et je conçois l'expérience spécifiquement pour que le résultat que j'attends soit très improbable si mon hypothèse est fausse. Ensuite si je prends un échantillon totalement au hasard, il n'a pas forcément besoin d'être très gros : pour que ça me donne *par hasard* le résultat *très improbable* que j'attends, et ce juste au moment où je fais l'expérience, il faudrait une grosse coïncidence... donc là je peux conclure que mon hypothèse a de bonnes chances d'être vraie.
Par contre si je ne sais pas du tout ce que j'attends et que je fais des mesures de manière exploratoire, si je prends un échantillon petit alors je suis presque sûr que cet échantillon va posséder un certain nombre de propriétés rares (par simple variabilité aléatoire des paramètres dans la population). La coïncidence qui était improbable dans le cas du test (je cherche à vérifier si la population a telle propriété, je prends un échantillon au pif et justement il a la propriété que je cherchais) n'en est plus une dans ce cas (je découvre que l'échantillon a telle propriété, mais c'était sûr que de toute façon il aurait une ou deux propriétés atypiques : je ne peux pas extrapoler la propriété à l'ensemble de la population¹). Oh, bien sûr, ça ne me dit pas rien du tout d'avoir trouvé cette propriété, mais c'est beaucoup moins informatif qu'on pourrait le penser — et que ça le serait dans le cas d'un test.
Bref, je ne confonds pas vérification d'un modèle et exploration des possibles, je me suis sans doute mal exprimé : quand je parle d'hypothèse a priori etc. je ne me concentre en fait que sur la
validité de la mesure effectuée, liée à la méthode de mesure (échantillonage aléatoire). Je ne me prononce pas sur les explications (forcément très spéculatives à ce stade, effectivement) des mesures, je dis que si des mesures ne sont pas fiables il vaut mieux ne pas les prendre en compte, parce qu'elles risquent plus de t'induire en erreur qu'autre chose...
¹À ce titre je pense que le post
./56 est une erreur de raisonnement. Un événement est dit statistiquement significatif s'il a moins de 5% de chances de se produire par hasard. Mais si on se met à faire des analyses plus poussées dans tous les sens, on teste une quantité énorme d'événements, et la probabilité qu'au moins un événement statistiquement significatif se produise parmi tout un tas est nettement plus grande que 5%. Donc en faisant ça on diminue grandement la fiabilité de la mesure ; ça revient à diminuer le rapport signal/bruit d'un instrument de mesure, en quelque sorte. Plus on cherche de relations différentes à la fois, plus on a de chances d'en trouver une qui ne soit qu'un artefact...