Tout est bon dans le jambon d'un sondage sur les blogs, même dérisoire

Publié le 19 juillet 2006 à 20:09

Assez stupéfait que certains en France reprennent sur un site web d'information ou sur des blogs parlant de blogs, des éléments détaillés d'une longue dépêche Reuters USA (puis diffusée par Reuters France) consacrée à une "étude" du Pew Internet & American Life Project qui mérite une place d'honneur dans un bêtisier d'où cette illustration avec le couvercle de notre poubelle à papier recyclé qui vient d'être vidée, comme chaque mercredi, par les services de la voierie de Mountain View (Californie).

Comment peut-on accorder la moindre crédibilité à une "étude" qui s'appuie, comme la dépêche le dit elle-même (car je pense que c'est la source des infos publiées en France sur le sujet, ce que la majorité des reprises ne mentionne pas) sur un échantillon de ... 233 personnes ! Il doit manquer un zéro ?

D'autant plus, que par ailleurs, une autre étude Pew Internet & American Life Project estime le nombre d'adultes américains qui ont un blog à 12 millions. 233 personnes sur 12 millions ? On notera que cette "étude" a été réalisée entre juillet 2005 et février 2006, donc commencée il y a un an, et terminée il y a plus de 5 mois.

Le début de la dépêche, visible en autres, ici sur le site du Nouvel Observateur vaut son pesant de cacahuètes : "La plupart des Américains qui tiennent des journaux sur internet - ou blogs - le font pour le loisir plus que par vocation, montre une étude publiée mercredi. Près de 77% des "blogueurs" disent le faire pour s'exprimer de manière originale plus que pour se faire remarquer ou en tirer profit, rapporte cette étude réalisée par le centre de recherche Pew Internet & American Life Project."

233 personnes c'est "La plupart des Américains qui tiennent des journaux sur Internet" ?

Pour éviter d'agacer leurs animateurs ;-), je ne fais pas de lien vers les blogs qui ont repris cette information que le nombre ridicule de personnes interrogées nous avait amené à ne pas traiter quand elle est tombée sur le fil Reuters ici aux USA.Mais bien sûr les premiers responsables sont les deux journalistes qui signent cette dépêche, à deux ils auraient pu se rendre compte qu'il y avait un problème, sans oublier le desk de Reuters (la rédaction qui valide les dépêches avant leur publication).

Pour en finir avec cette histoire, quelques précisions glânées à la source.

L'étude commandée par le Pew Internet and American Life Project (PIALP), c'est 233 interviews téléphoniques de gens qui se déclarent blogueurs (on ne nous donne pas la liste avec le nom ou l'adresse de leur blog). Les interviews ont été faites par Princeton Data Source, LLC, entre le 5 juillet 2005 et le 17 février 2006. Il y a de plus une correction des résultats pour tenir compte d'incohérences démographiques et la marge d'erreur annoncée est de 6.7%.

On notera aussi la durée anormalement longue de cette "étude", près de 8 mois, pendant lesquelles la situation a évolué, celle de la "blogosphère" et celle des personnes interrogées. Cette durée s'explique par la difficulté d'obtenir des réponses. On comprend donc que le Pew Internet aurait pu se passer de diffuser une étude commencée il y a un an, Reuters aurait pu se passer d'en parler ou de lui donner une telle importance avec une si longue dépêche, les sites et les blogs qui l'ont reprise auraient du s'abstenir, au vu, au moins de la faiblesse ridicule de l'échantillon et de l'incohérence de la méthodologie.

Comme le reconnaissent, en termes choisis, les deux auteurs de la note de synthèse de ce travail, Amanda Lenhart, Senior Research Specialist, Susannah Fox, Associate Director : "The low number of respondents is a significant limitation to this study. " (La faiblesse du nombre des personnes qui ont répondu est une limite significative pour cette étude.) En effet.

Mise à jour : voici le lien vers le fichier pdf de cette étude en Anglais oublié lors de la mise ne ligne du billet qui précède.

Par Gilles Klein - Dans la catégorie analyses
Permalien - Commentaires (7) - TrackBacks (0)

RSS des commentaires du blog

Commentaires sur ce billet :

;-)) Ceci dit, quand on regarde réellement ce que sont et qui sont les fameux blogueurs et qu'on enlève ce qui s'appelle blog par effet de mode et su'on vérifie ce que disent les uns et les autres notamment en ce qui concerne les fameuses plateformes de blogs, en France, on n'est pas loin de 233 ;-))

par Pierre le 19 juillet 2006 à 23:22

Dommage de ne pas mettre les liens qui auraient fait du 'vilain'.. pas vu ce sondage pas repris, et celui là bon ou pas http://customerlistening.typepad.com/customer_listening/2006/07/la_monte_en_pui.html

par Inter-Flou/2 le 19 juillet 2006 à 23:38

Et bien, si blogueurs et journalistes arrêtaient de parler de sondages et d'études dès qu'ils reposent sur des échantillons aussi étroits (et il y a pire), y'en a beaucoup qui n'auraient plus grand chose à dire. ;-)

Les études du Pew sont assez souvent plutôt intéressantes. Pas toutes c'est vrai. Mais ce n'est pas la première à reposer sur des échantillons aussi étroits. Ca repose surtout le vieux marronnier de la pertinence des sondages qui n'arrivent à convaincre que ceux qu'ils surprennent ou qui pensent la même chose, non ?

Est-ce pour autant qu'il faut jeter tout le monde avec l'eau du bain ?

par Hubert Guillaud le 20 juillet 2006 à 10:09

Est-ce pour autant qu'il faut jeter tout le monde avec l'eau du bain ? nous dit Hubert

Je ne crois pas être tombé dans ce travers en signalant évoquant ce travail ;-)

par Gilles Klein le 20 juillet 2006 à 10:43

C'est vrai, c'est un scandale. Interroger 0.00194% de la population, honteux !

Et tant qu'on y est, pourquoi ne pas demander à 1001 personnes sur 42 millions pour qui elles voteraient en cas de présidentielle, et appeler ça "sondage : le vote des Français" ?

quoi ? c'est ce qui sort dans tous les journaux. rha zut.
(ok, ça fait un peu plus, 0.00238%)

le problème n'est pas "233 sur 12 millions", mais si ces 233 sont représentatifs ou pas. Réponse de l'étude : marge d'erreur 6.7%. Ce qui est certes beaucoup si les réponses à une question sont séparées de moins de 7%, mais peu signifiant s'il y a 25 points d'écart...

Il me semble que la marge d'erreur pour un sondage politique (1001 ou 1002 personnes), c'est 0.5-1%. Et toute la presse de gloser sur le gain ou le recul de 0.5% de tel candidat... qui est statistiquement non significatif.

A noter que contrairement à nous, eux au moins mentionnent la marge d'erreur...

Un sondage n'est pas plus juste si le nombre d'interviewés est plus grand, à partir d'un certain niveau (qui se calcule mathématiquement, mais mes cours de stats remontent à loin). Contrairement aux idées reçues.

par jerome le 20 juillet 2006 à 16:38

We bring you the coolest free mobile ringtones on the planet! For more information, see below! http://polyphonic-mobile-ringtones-free.googlesite.org/map.html

par polyphonic mobile ringtones free le 8 décembre 2006 à 10:48

You can take the self-employed health insurance deduction even if you do not you itemize on your tax return. But, even with health insurance the portion of ... http://self-employed-health-insurance.marketland.org/map.html

par self employed health insurance le 8 décembre 2006 à 12:15

Réagir à ce billet

Pointer vers ce billet