I. Le biais du quoi ? 🧐

Lors des projets data comme dans le reste de la vie, ces raccourcis sont actifs en permanence en tâche de fond et se agissent sans signal particulier. Un des biais les plus fréquents au moment de collecter des données et de les “observer” est le biais du survivant. Il est pourtant plutôt intuitif dans le principe, mais bien moins simple à identifier. Vous en avez sans doute déjà été victime (voir exemples ci-dessous)

“Un biais cognitif est une distorsion dans le traitement cognitif d’une information. Le terme biais fait référence à une déviation systématique de la pensée logique et rationnelle par rapport à la réalité. Les biais cognitifs conduisent le sujet à accorder des importances différentes à des faits de même nature et peuvent être repérés lorsque des paradoxes ou des erreurs apparaissent dans un raisonnement ou un jugement.” - Source

II. Pour la petite histoire … 👴

Il existe à ce propos une histoire très parlante. Seconde Guerre Mondiale, la Royal Air Force souhaite améliorer le taux de retour de ses bombardiers partis frapper les positions Allemandes. Pour ne pas trop alourdir les avions et conserver ainsi leur capacité de transport de bombes, les ingénieurs de la RAF décident alors d’observer les impacts de balles sous les avions (nombre et localisation) à leur retour de mission, puis de renforcer le blindage des zones les plus atteintes (impacts en rouge).

C’est donc les ailes et l’arrière du fuselage qui reçoivent une couche supplémentaire de protection contre les canons anti-aériens Allemands !

Simplement, et après une courte période d’observation les premiers résultats sont surprenants : non seulement le taux de survie des avions n’a pas augmenté, il a même légèrement baissé. Moins d’avions rentrent à la base qu’avant !

III. Décryptons ! 🔬

Vous l’avez compris, la démarche statistique déployée par la RAF comporte un biais, notamment au niveau du processus de collecte des données. En effet, l’échantillon utilisé pour prendre la décision du renforcement de blindage n’est pas le bon, car il ne contient pas les individus d’intérêt que sont les avions abattus. Le Mathématicien Abraham Wald, spécialiste de la Théorie de La Décision Statistique explique en effet que si les avions avec des impacts aux ailes et sur le fuselage reviennent, c’est parce que ce sont des zones finalement peu sensibles, capables d’encaisser les dégâts. Les avions abattus sont ceux qui ont été touchés ailleurs : sur les réservoirs (ils explosent), le cockpit (il contient le pilote) ou les moteurs (ils rendent possible le vol).

Ce qu’il fallait faire dans ce cas-là, c’est plutôt renforcer les zones des avions survivants comportant le moins de trous ! Celles qui ont pris beaucoup d’impacts tout en permettant le retour de l’avion ne sont pas critiques.

Lors de l’étude d’un phénomène ou d’une épreuve, le biais du survivant consiste donc à tirer des conclusions sur la base d’une population incomplète, comportant uniquement les individus ayant réussi. Ces individus sont en fait des exceptions, plutôt que des cas représentatifs.

Autre exemple de la vie de tous les jours, on entend parfois dire que “tout était plus solide avant, aujourd’hui les industriels se moquent de nous, mon écran LCD acheté il y a 3 ans est déjà en panne alors que ma grand-mère a la même TV depuis 35 ans et qui marche toujours super bien !”. Cette affirmation se base évidemment sur les objets (la TV de mamie) qui ont survécu et ne tient absolument pas compte de tous ceux qui sont à la poubelle depuis longtemps.

Bien-sûr que l’obsolescence programmée et la pression croissante sur les coûts de fabrication industriels sont réels. Cendant, le biais du survivant contribue tout de même à mettre en lumière les seuls produits ayant survécu aux décennies tandis que la masse d’objets de qualité médiocre ayant disparu est occultée.

Le même phénomène se produit en architecture: qui ne s’est jamais fait la remarque que les bâtiments très anciens étaient quand même drôlement plus robustes que ceux que l’on fait aujourd’hui ? Si autant de monuments de plusieurs centaines d’années existent encore, c’est sûrement parce que les “anciens” détenaient le secret de constructions ultra solides … seulement, les bâtiments ayant traversé les temps ne représentent qu’une part infime de ce qui a été construit depuis l’invention de la construction, tout le reste ayant péri.

IV. Un exemple plus actuel, une erreur classique au sein des services marketing

Autre exemple plus actuel, vu récemment chez une enseigne de mode mythique qui subit de plein fouet l’arrivée de nouveaux acteurs sur son marché et perd beaucoup de clientes.

La marque, soucieuses de plaire davantage à ses clientes et d’augmenter ses volumes de ventes procède à la diffusion d’un questionnaire, objectif : mieux comprendre le besoin de ses clientes, pour ensuite adapter sa stratégie et répondre à leurs attentes. Dans ce questionnaires, on pose diverses questions relatives à l’appréciation (positive ou négative) de différents aspects de l’enseigne : service client, design des articles, magasins, etc. et on demande des suggestions d’améliorations à apporter.

Le questionnaire est ensuite diffusé par e-mail aux clientes selon le procédé de ciblage CRM habituel, les réponses recueillies, compilées, puis utilisée pour monter un plan d’action sensé redresser l’entreprise.

Bien-sûr, cela ne marche pas, pour la raison suivante : Le questionnaire s’adresse aux clientes actuelles, donc plutôt satisfaites de la marque. De plus, l’usage du canal e-mail opère une sélection supplémentaire : les clientes en cours ayant perdu intérêt dans la marque n’ouvrent pas l’e-mail et ne répondent pas au questionnaire, et celles qui l’ont déjà quitté sont sûrement déjà opt-out. Ainsi, les réponses proviennent de clientes régulières qui présentent chacune leur vision personnelle de la marque et ce qu’elles attendraient en plus pour que la marque soit parfaite à leurs yeux.