Validité en sciences humaines et sociales : un traitement en contexte(s) et réflexif

Cet article s’inscrit dans la continuité du dossier relatif aux critères de validité en sciences humaines et sociales. Après avoir délimité le sujet, puis construit et appliqué une méthodologie appropriée pour observer la réalité étudiée, il importe de traiter et de présenter les données de façon adéquate.

> Voir aussi les étapes de recherche en sciences sociales, extrait de VAN CAMPENHOUDT, L., QUIVY, R., Manuel de recherche en sciences sociales, Paris : Dunod, 2011 (1988).

Nous nous limitons ici à présenter quelques principes génériques communs au traitement des données scientifiques en sciences humaines et sociales. En fonction des méthodes de collecte choisies précédemment, il existe différentes démarches d’analyse des données produites plus ou moins pertinentes. De ce fait, nous invitons le lecteur à investiguer les méthodes de traitement et d’analyse spécifiques à la méthodologie de collecte envisagée.

Liens avec les thèses existantes

En général, le travail de mise en contexte réalisé dans le cadre de la délimitation du sujet trouve une utilité supplémentaire au moment du traitement des données.

En effet, les résultats sont à relier avec la littérature existante sur le sujet (théories, concepts, thèses), ou encore avec une connaissance empirique du terrain étudié (observations préalables, explorations) et de son contexte (géographique, temporel, religieux, politique, juridique, institutionnel, organisationnel, etc.).

Autrement dit, il est important de retrouver un ancrage fort dans un ensemble d’éléments qui préexistent à l’observation, que ces éléments aient fait eux-mêmes l’objet d’observations ou de lectures. Concrètement, quand un domaine a déjà été étudié, les liens avec les sources existantes sont recommandés. A ce niveau, il n’est pas question de gonfler artificiellement sa bibliographie (par convention, d’ailleurs, seules les sources effectivement citées ou référencées dans le corps de texte apparaissent dans la bibliographie principale d’un ouvrage – ce qui n’empêche pas de constituer une bibliographie secondaire). Il convient de garder à l’esprit les délimitations antérieures, et donc d’effectuer une sélection des liens les plus pertinents à élaborer.

A ce titre, le recours aux citations est une marque d’honnêteté scientifique. En effet, il semble relativement rare qu’une idée, aussi brillante soit-elle, provienne tout-à-fait de nulle part, ou encore que personne n’ait eu une idée identique ou similaire, ne puisse être reliée à aucune autre thèse qui ait déjà été formulée.

Dans cette mesure, le copier-coller n’est pas interdit. Au contraire, il est même recommandé dans lorsqu’il s’agit d’exercer son droit de (courte) citation en indiquant ses sources.

A l’inverse, le plagiat peut engendrer un discrédit au-delà des droits d’auteurs. Il témoigne d’un manque de transparence, et donc de fiabilité. Ce n’est pas seulement une question financière : dans le cadre scientifique, toute thèse, toute théorie ou idée doit faire l’objet d’un examen minutieux. D’où provient-elle ? Qui l’affirme, et sur quelles bases ? Dans cette mesure, quelqu’un qui s’approprie des idées qui ne sont pas les siennes nuit à la vérifiabilité de son discours, alors qu’il pourrait au contraire l’appuyer sur les dires d’autres individus.

Ce souci d’honnêteté, de transparence et d’exactitude s’incarne y compris par rapport à des thèses « opposées », face auxquelles l’auteur souhaite marquer son désaccord. Dans son blog de philosophie des sciences, Quentin Ruyant expose un « principe de charité » à leur égard :

« Il s’agit, comme l’exprime Daniel Dennett, d’être capable d’exprimer une position adverse de manière si fidèle que même notre opposant pourra nous remercier d’avoir exprimé sa position avec tant de justesse. La connaissance doit être issue d’un travail collaboratif, ce qui est impossible si l’on ne sait pas faire justice aux positions auxquelles on s’oppose pour leur opposer des arguments sérieux ».

Toujours dans le même ordre d’idées, il importe de « remonter à la source ». Des résumés de traductions de résumés de notes de lectures sur le web ne témoignent peut-être pas de la richesse d’une œuvre. Il se peut qu’à force, la pensée ou les théories d’un auteur soient utilisées à mauvais escient, mal comprises, mal retranscrites, transposées dans des domaines où elles ne sont pas pertinentes, etc.

Enfin, contrebalançons la recommandation de recourir à des sources tierces avec la mise en garde par rapport aux arguments d’autorité. En effet, il ne s’agit pas d’étayer ses arguments ou opinions en commençant chaque phrase par des formules de type « Comme l’écrivait Aristote… ».

Traitement des données et retour réflexif

Très brièvement, évoquons que le traitement des données implique de toujours garder un œil sur la méthode, de l’adapter éventuellement au fur et à mesure et d’y rester vigilant.

Concernant la présentation des résultats, il existe différents tests de signification, notamment applicables dans le cas d’études quantitatives. De manière générale, il est indiqué de faire référence aux méthodes sur base desquelles on peut affirmer que les données sont ou non significatives, et dans quelle mesure.

Il faut en outre prendre garde à la tentation d’effectuer un « lissage » non autorisé des données, qui ferait apparaître une belle courbe de Gauss ou une corrélation qui ne seraient pas apparues de manière aussi limpide sans que certaines observations aient été « ajustées ». De plus, même avec des données qui font apparaître des corrélations qui semblent nettes, il convient de rester prudent et de ne pas tirer de conclusions hâtives (cf. Validité en sciences humaines et sociales : un sujet délimité et observable ou encore La logique face aux mauvais arguments (2014), ainsi qu’une version vulgarisée de ces questions dans Questions de causalité (2011)).

Voir aussi PsykoCouak, Les écrans, c’est méchant ? (2018), ainsi que Les apprentis sorciers de l’éducation aux médias : des pratiques des apprentis sorciers (2012).

Les données sont supposées apporter une réponse à la question de recherche, et conforter ou invalider en tout ou partie la ou les hypothèses. En général, en sciences humaines et sociales, il ne s’agit pas d’une réponse univoque, mais bien d’un ensemble d’éléments permettant d’affiner les connaissances, de transformer l’hypothèse en une affirmation qui refléterait le réel de manière plus adéquate. Pour le dire simplement, il ne faut pas se contenter d’une réfutation ou d’une confirmation (souvent partielles), mais proposer des pistes de nuance.

Par exemple, dans mon mémoire (2009), j’ai émis l’hypothèse que les jeunes obtiendraient de meilleurs résultats à une tâche de recherche et d’évaluation de la fiabilité de sites web s’ils en discutaient en sous-groupes, après une tâche individuelle de sélection et de classement. Les résultats m’ont appris que ce n’était pas nécessairement le cas. Cependant, cela ne signifie pas non plus qu’aucune tâche de discussion en sous-groupe ne peut permettre d’améliorer les compétences des jeunes.

Des prolongements peuvent être formulés en ce sens, tant sur le fond (les thèses et hypothèses de travail que le travail invite à considérer) que sur la forme (la méthodologie utilisée). Une fois encore, la transparence quant au dispositif, à ses forces et à ses faiblesses, est fondamentale. Il s’agit d’être au clair avec ce qui a pu être observé, simplement. Ce n’est pas parce qu’un dispositif fait augmenter temporairement le taux de noradrénaline des sujets qu’il atteste de la propension à la violence de ceux-ci, par exemple.

La connaissance a une valeur dans la mesure où elle a une portée pragmatiste, c’est-à-dire une utilité, une fertilité dans le champ de la recherche. Autrement dit encore, elle doit pouvoir ouvrir l’horizon sur de nouvelles perspectives.

Communication

Comme nous l’avons développé précédemment, les résultats doivent être communiqués en référence es résultats en contexte(s).

Cela a notamment pour corollaire d’éviter toute généralisation abusive (cf. La logique face aux mauvais arguments (2014)), et plus largement tout propos qui ne fasse pas référence à ce qui a permis de l’affirmer, y compris dans des phrases qui ne sont pas directement liées à la recherche proprement dite.

Voici un exemple concret d’affirmation qui discrédite la portée scientifique d’un texte :

« De nos jours, la société est telle que les gens ont une propension naturelle à… »

En général, ce type de considération est au mieux une affirmation creuse, éventuellement un cliché, et au pire une affirmation fausse.

Tous les éléments de cette phrase sont contestables, sans même avoir pris la peine de lire ce qui suit : « de nos jours » fait référence à une temporalité vague, que l’on ne peut situer (préférer une formulation de type « en 2015 » ou « depuis 1960 », par exemple), « la société » et « les gens » renvoient à des réalités multiples, parler de « propension naturelle » lorsqu’il est question d’humain fait appel à des postulats métaphysiques essentialistes (et/ou « appel à la nature ») : cela ne relève pas de la science, n’est pas réfutable…

Dans tous les cas, ce type de phrase n’a rien à faire dans un travail à prétention scientifique. Il demeure possible de donner son opinion, mais alors la phrase est à commencer par « je crois » ou « tel auteur pense », et non à énoncer comme une vérité absolue.

Les précautions ici développées peuvent être mises en parallèle avec la notion de « charge » de la preuve, qui veut que « la preuve incombe à celui qui prétend ». Ce principe est ici interprété de manière large : concrètement, quand vous affirmez quelque chose, vous devez permettre au lecteur de savoir d’où cette affirmation provient, ce qui vous permet de l’affirmer (vos observations, vos lectures, votre réflexion philosophique, vos valeurs et opinions, etc.). S’il n’est pas nécessairement question de « prouver » ce que vous affirmez ou croyez, il est en tout cas important d’informer le public de manière tangible sur ce qui fait que vous l’affirmez ou le croyez.

Concernant l’étape de communication des résultats, il convient de noter la tension entre fidélité et communicabilité. C’est une tension de la vulgarisation scientifique, et par extension de toute communication scientifique.

https://twitter.com/El_Od_/status/888437160445173761

Un haut niveau d’exactitude (et donc de fidélité au réel) peut impliquer des textes forts longs ou un haut niveau de complexité. Pour raccourcir un texte ou le communiquer à un certain public, il est parfois nécessaire de procéder à des simplifications, d’avoir recours à des images, des métaphores et métonymies, des approximations, etc. C’est un travail d’équilibriste que doit réaliser celui qui communique son travail scientifique, en s’interrogeant entre autres sur son public (ses pairs scientifiques, le corps enseignant dans le cas d’un mémoire ou un TFE, le « grand public », des élèves, etc.) : comment mettre des mots sur la réalité sans la caricaturer ? Comment écrire à propos d’observations complexes sans dénaturer les informations ?

Enfin, en prolongement des balises, notons le principe de clarté (également évoqué dans Pour une éthique de la discussion (2013)) : cela n’a pas de sens (entre autres au niveau de la fertilité scientifique) de rédiger quelque chose de très informatif s’il n’y a personne qui le comprend. D’ailleurs, cela peut nuire à la vérifiabilité des thèses. Le scientifique doit à mon sens éviter tout jargon inutile et adopter un style simple, tant que possible. Il est important d’avoir recours à des concepts bien délimités, ce qui implique parfois des néologismes (cf. Validité en sciences humaines et sociales : un sujet délimité et observable), mais chacun d’entre eux doit avoir du sens en regard de l’objet de recherche et faire l’objet d’une explication.

Note : l’évaluation par les pairs

Dans ce dossier, je n’approfondis pas la question de l’évaluation par les pairs, pourtant importante dans la production scientifique contemporaine. Pour débroussailler ce sujet, lire par exemple Bloch, D., L’expertise en sciences ou comment se décide ce qui est publiable : noblesse et dérives (2017). Pour des approches un peu plus polémiques, quelques « cas d’école » en sciences humaines et sociales ont également « défrayé la chronique », sur le modèle notamment des « impostures intellectuelles » de Sokal et Bricmont.

Note : quelques controverses

• Retour – décevant – sur l’expérience de Milgram (Rémi Sussan, Internet Actu, 2018), sur base d’un article du News Scientist – The shocking truth of Stanley Milgram’s obedience experiments (Gina Perry, News Scientist, 2018)
• L’effondrement de la psychologie sociale (Hubert Guillaud, Slate.com, 2016)
• L’expérimentation psychologique en crise (Rémi Sussan, InternetActu, 2016)

A Weird Way of Thinking Has Prevailed Worldwide : Sur un échantillon de plusieurs centaines d’études publiées dans les principales revues en psychologie, 68% des sujets de recherche proviennent des USA et 96% des pays occidentaux. Parmi les sujets américains, 67% étaient des étudiants américains en psycho. Un étudiant américain choisi au hasard est 4000 fois plus susceptible d’être sujet à une expérimentation psychologique qu’un non-occidental choisi au hasard. De manière générale, l’article pointe la surreprésentation dans les études en psychologie des « Weird », les « Westernized, educated people from industrialized, rich democracies », c’est-à-dire les Occidentaux scolarisés provenant de riches démocraties industrialisées. Un article du NY Times, que j’ai découvert par le biais du lien suivant. Le titre de l’article en résume bien le propos : « Une autre raison de prendre les recherches en psychologie avec des pincettes » (trad. de mon fait).

Cas particulier de résultats complètement sortis de leur contexte, extrapolés ou inventés

Sciences, pseudosciences, connaissance et vulgarisation des savoirs

Au-delà de la présentation honnête, claire et transparente des résultats, la communication scientifique se heurte à la question de sa popularisation. Malheureusement, il arrive que des résultats obtenus en suivant une méthodologie digne de ce nom soient réappropriés dans différents domaines, et soient ainsi sortis de leur contexte, extrapolés, mal compris…

C’est le cas notamment de ces deux expériences d’Albert Mehrabian, desquelles il ressort prétendûment que « 93 % de la communication est non verbale ». En réalité, lorsque l’on demande à l’auteur de ces expérimentations (dont les résultats font l’objet de critiques par ailleurs), il ne leur donne absolument pas cette portée (cf. Vince Denault, « Vlogue 4 : Mehrabian et l’importance du non-verbal, et de la bullshit ! » (2017) ; Wikipédia ; les deux expériences de Merhabian : A. Mehrabian, M. Wiener, « Decoding of inconsistent communications » (Journal of Personality and Social Psychology, 1967) et A. Mehrabian, S. R. Ferris, « Inference of Attitudes from Nonverbal Communication in Two Channels » (Journal of Consulting Psychology, 1967).

Il n’est pas rare que des propos scientifiques fassent l’objet d’une dénaturation par des intermédiaires, pour de multiples raisons sur lesquelles nous ne nous attarderons pas ici. Plusieurs éléments permettent de remettre en cause la prétention scientifique de certains propos : ceux-ci ne témoignent pas de leurs sources primaires (ici, en l’occurrence, le texte de Mehrabian) ou des conditions d’élaboration de leurs thèses (comment les chiffres ont-ils obtenus, dans quel contexte, avec quel protocole expérimental…).

Lire aussi : Vince Denault, « Une lettre ouverte à Santé Magazine : Non-verbal et séduction, vos propos sont problématiques, voire irresponsables » (2017).

L’exemple ci-dessous n’a quant à lui pas été obtenu à travers une méthodologie scientifique valide, mais il fait l’objet d’une réappropriation similaire à celle des expériences de Mehrabian, comme en témoigne d’ailleurs sa mise en forme « sexy » à l’aide d’une infographie.

En 2015, Will Thaleimer a rédigé un article très complet déconstruisant ce mythe pédagogique : Mythical Retention Data & The Corrupted Cone (Will At Work Learning, 2015).

Malheureusement, les intervenants qui popularisent ce genre de « savoirs populaires » sont souvent plus nombreux, plus « influents » et ont un « marketing » plus rôdé que les scientifiques dont la méthode est éprouvée, d’autant plus lorsque ces « savoirs » abondent dans le sens d’idées reçues ou d’idéologies culturelles auxquelles nous adhérons. De nombreuses considérations issues d’ouvrages ou de pratiques pseudoscientifiques jouissent du même traitement, et sont ainsi citées sur le même pied que des études valides lors d’articles de vulgarisation, de formations professionnelles ou autres. En d’autres termes, des observations scientifiques sont parfois mélangées avec des « croyances populaires » présentées à tort comme scientifiques.

Les « écarts » à une méthodologie scientifique peuvent être nombreux : absence de délimitation et de définition des concepts, notions vagues et abstraites ; non respect d’une méthode de collecte éprouvée (pas de méthode d’échantillonnage, outils d’observation inadéquats…) ; non reproductibilité (les données ne peuvent être attestées ou réfutés par l’expérience) ; biais méthodologiques (biais de confirmation, par exemple) ; absence d’une validation par les pairs ou incohérence voire contradiction avec le consensus scientifique ; utilisation d’arguments fallacieux (notamment des arguments d’autorité en citant des « savants ») en dépit de la logique ; généralisations abusives ; etc.

A notre avis, c’est une des raisons pour lesquelles une popularisation de la connaissance des méthodes scientifiques (comment fonctionnent les sciences, comment sont produits les savoirs scientifiques ?) pourrait permettre non seulement d’accroître la scientificité de la communication scientifique en général (y compris la « vulgarisation » scientifique), mais également d’augmenter les capacités critiques d’évaluation de l’information en tant que « récepteurs » ou « lecteurs » d’information. Autrement dit, notre hypothèse est qu’au plus les individus connaissent de manière critique les fondements d’une connaissance fiable et construite de manière rigoureuse, au plus ils peuvent mettre à profit ce savoir pour évaluer des données de façon efficace.

Voir : Thomas Huchon, « C’est pas parce que vous avez vu une vidéo de 3 minutes sur l’effet Dunning-Kruger que vous maîtrisez l’effet Dunning-Kruger » (Konbini, 2020). Référence illustrant un beau cas de méta ultracrépidarianisme : parler de l’effet Dunning-Kruger de façon caricaturale, en surgénéralisant sa portée, en surinterprétant les données expérimentales, en utilisant un graphique erroné et hors de tout contexte ou cadre théorique critique !

Prolongements : utiliser ces critères pour évaluer l’information

En guise de prolongements à cet ensemble de balises relatives aux critères de validité en sciences humaines et sociales, nous proposons une discussion quant à la portée de ceux-ci en-dehors du champ scientifique. En effet, toutes ces recommandations peuvent permettre d’évaluer les discours et les textes dans d’autres contextes.

Par exemple, une affirmation est d’autant plus fiable que celle-ci fait l’objet de délimitations claires, sans confusions ou amalgames. Les phrases qui se veulent abstraites, floues ou creuses sont à considérer avec prudence. Les propos font-ils référence à un contexte, sans généralisation abusive ? Le principe de réfutabilité ou d’observabilité des affirmations peut également être relié au concept de « fact checking » relatif aux médias d’information.

De même, en application du principe de charge de la preuve précédemment développé, une posture d’évaluation de l’information consiste à se demander sur quelle(s) base(s) un individu ou un collectif s’appuie pour dire quelque chose. Quelles sont les données qui lui permettent de tenir ses propos ? De quelle(s) nature(s) sont-elles ? Sont-elles communiquées de manière transparente ?

En général, un document est d’autant plus fiable qu’il donne de l’information sur ses sources, sur ses méthodes d’acquisition de l’info. Est-il le fruit d’une investigation poussée, d’une recherche rigoureuse ? Quels éléments sont donnés pour l’attester ? Cela est-il vérifiable ? Il n’est pas préjudiciable qu’une personne donne son opinion, si celle-ci est honnêtement assumée comme telle.

Un des critères conventionnels des sources scientifiques valides réside dans la publication après relecture par des pairs (validation experte intersubjective). Ceci soulève l’idée qu’une thèse doit également recueillir l’assentiment d’autres individus qui ont des connaissances dans le même domaine, ou du moins être mis en perspective par rapport à leur avis. Il est intéressant de considérer qu’une information sur un thème donné n’est jamais isolée d’autres thèses ou opinions, et donc de prendre également ceux-ci en compte.

Quand il est question d’évaluation d’un document, il s’agit parfois d’un véritable travail d’enquêteur. Dans ce cadre, il peut être judicieux d’opérer un « retour aux sources ».

Cf. également DORBAN, M., Critique de l’information : contribution de la critique historique, Louvain-la-Neuve : Academia-Bruylant, 2000 (ouvrage utile également à l’historien, justement).

Pour terminer, plusieurs autres éléments pourraient être évoqués. Pour rappel, ce texte présente des principes généraux dont l’application dépend de l’objet et du contexte de la recherche. Il ne prétend pas à l’exhaustivité. Nous invitons donc le lecteur à le nuancer et le prolonger dans le cadre de sa propre expérience, de ses lectures et observations.

> Bibliographie