Pondération des moyennes

Auteur : tadanobu20:52:06 15/09/2018
Description
Imaginons deux films, ayant chacun 5 notes et une moyenne de 7.5. Actuellement, ils sont classés strictement ex-aequo.

Précisons maintenant que le premier a été noté par rlmtruffo, yayap, loris, -blondin- et max9 avec des notes de 6,5 - 7 - 7,5 - 8 -8,5.

Le second, lui a été noté par rastignac, kino, yorda, resolution et moi-même avec les mêmes notes.

Ceux qui connaissent assez bien les membres comprennent vite le problème : le premier film a été noté par des gens globalement généreux alors que le second l'a été par des membres plutôt sévères. Comment rendre compte de cela ?

Avant de répondre à cette question, précisons que l'objectif n'est bien évidemment pas de donner plus ou moins de poids à chaque membre. De toute façon, on sait déjà très bien que la moyenne n'est qu'un indicateur forcément approximatif puisque fruit de plusieurs facteurs tous plus subjectifs les uns que les autres.

Toujours est-il qu'il serait utile de noter qu'à note équivalente et en comparant les membres, les différences d'appréciation de chaque membre en fonction de leur propre barème subjectif ne sont pas mise en avant. Vient alors l'idée de pondérer les moyennes.

Dans les grandes lignes, l'idée est d'ajouter ou de retirer quelques dixièmes à chaque note en se basant sur la notation de chaque membre. Si un membre note en général au-dessus de la moyenne de la fiche, sa note calculée dans la moyenne sera rabotée de quelques dixièmes. Inversement, si un membre note souvent en-deçà de la moyenne, on pourra ajouter quelques dixièmes à sa note pour calculer la moyenne.

Vous commencez à avoir mal à la tête et relire plusieurs fois ce qui est écrit ? Est-il donc nécessaire de vous présenter un algorithme de calcul ? Pour les plus matheux d'entre vous, je dirai que je calcule l'écart-type entre la note d'un membre et la moyenne d'une fiche et que seul un certain pourcentage (tenu secret) de cet écart-type est ajouté/retranché à la note pour calculer la moyenne.

Pour ménager vos méninges et être plus concret, voici quelques exemples.

Si je reprends les deux cas d'études du début d'idée, le premier film se retrouverait avec une moyenne de 7.11 alors que le second obtiendrait 7.98. Cela peut sembler un écart important mais on a ici un cas bien particulier qui n'arrive probablement jamais. C'est avant tout pour mettre en lumière le mécanisme.

Prenons donc quelques exemples plus réalistes avec le Top 5 actuel.

Film - Moyenne actuelle - Moyenne pondérée

La Condition de l'homme III - 8.65 - 8.7
Il était une fois dans l'Ouest - 8.57 - 8.55
À l'ouest des rails - 8.55 - 8.61
Mulholland Drive - 8.52 - 8.5
Barry Lyndon - 8.51 - 8.51

Quelques autres exemples du Top 50 qui changent plus
Le miroir - 8.14 - 8.24
La Vie d'Oharu, femme galante - 8.22 - 8.4
Love Streams - 8.19 - 8.43

De manière générale, cela a plutôt tendance à augmenter légèrement les moyennes (logique, sachant qu'il y a plus de membres très sévères que très généreux).

Ce nouveau mode de calcul ne serait appliqué qu'à partir de 20 notes afin de conserver le top découverte tel qu'il est actuellement et éviter que les membres sévères puissent facilement y faire grimper des films qu'ils ont aimé.

Tout ça, évidemment, est encore expérimental et l'algorithme peut être retravaillé.


Réponse de Tadanobu
Idée close

Cette idée a marqué -17 pts
4 utilisateurs ont voté pour.
21 utilisateurs ont voté contre.

Commentaires
15/09/2018 21:35:29
Je suis à la fois d'accord et pas d'accord.

OK avec le principe de pondérer une moyenne en fonction de si on a affaire à quelqu'un de généreux ou strict. Un 8/10 venant d'un membre ne mettant jamais moins de 7 est plus anecdotique que venant de quelqu'un qui dépasse rarement 7, et c'est bien de le faire ressentir sur la moyenne.

Ce qui me chiffonne est le calcul de l'écart-type. Je ne suis pas sûr d'avoir compris, arrête-moi si j'ai tort: il est basé sur l'écart entre chacune des notes d'un membres et la moyenne de chacun des films notés ?
Donc s'il ne donne que des 1 et des 10 il va avoir un écart-type élevé, donc il influencera énormément les moyennes, contrairement à quelqu'un qui noterait de manière nuancée ?Message édité
15/09/2018 22:07:52
On peut ne mettre que des 1 et des 10 et avoir un écart-type de 0. Ceux-ci "s'annuleront" : +5 d'un côté, -5 de l'autre au final ça fait 0. Pour te donner un ordre d'idée, il n'y a que 8 membres (5% des VIP) qui ont un écart-type supérieur à 1.

A noter aussi que les notes doivent être comprises entre 1 et 10. On ne peut pas se retrouver avec une note de 10.8 par exemple (10 de note + 0.8 de pondération).

En revanche si un membre mettait 95% de 1 et juste quelques 7, ses 7 auraient en effet le poids d'un 10. Mais sachant que cela ne s'appliquerait qu'à une moyenne d'au moins 20 notes, je doute qu'on puisse trouver un exemple réaliste où ça fera augmenter la moyenne de plus de quelques centièmes.
15/09/2018 23:12:40
J'ai du mal à saisir la pertinence d'une telle mesure. Pour prendre un exemple, je ne vois pas pourquoi le 9 de Yayap à Les Oiseaux pèserait moins que le 10 de Yorda, sous prétexte que le premier a une moyenne de notes nettement plus élevée et serait donc prétenduement moins sévère (ce qui revient à dire que son 9 a moins de valeur car il est donné plus "facilement"). La sévérité n'est pas une valeur objective, et je ne crois pas que la moyenne générale d'un membre soit un critère pertinent pour la juger. BeeBalibar, par exemple, a une moyenne très basse, pourtant il ne m'apparaît comme un membre particulièrement sévère, simplement il a vu beaucoup de mauvais films et relativement peu de films qui l'ont touché. A l'inverse, Dimanche a une moyenne très élevée, mais c'est, entre autre, parce qu'il est loin d'avoir noté tous les films qu'il a vu et qu'il préfère se concentrer sur ceux qu'il aime. Peut-on dire que c'est un membre à la notation "généreuse" pour autant ?
15/09/2018 23:43:52
C'est un peu dommage de désactiver entièrement la pondération sur les films avec peu de notes, et où donc les notes ont le plus d'impact et la pondération est sans doute la plus nécessaire. À l'inverse les moyennes de pleins de notes se pondèrent un peu d'elles-même du coup si c'est pour leur faire gagner 0,1 de moyenne ça me semble pas crucial.

En soi j'ai rien contre l'idée mais ça me paraît vraiment se compliquer la vie juste pour faire transparaître une donnée relativement creuse (une moyenne) aux dépens des avis individuels. Est-ce que c'est vraiment nécessaire ? Quelqu'un qui connaît bien le site et les différents membres saura faire son tri de toute façon, et si on commence à introduire des considérations de "valeur" comme le fait Melaine on est pas sorti de l'auberge.
16/09/2018 00:02:22
si tu tiens à pondérer les moyennes, ne vaudrait-il mieux pas atténuer l'importance des notes marginales et extrêmes sur chaque film, plutôt que le faire en fonction du CV du votant? Si un film qui a 20 notes et une écrasante majorité de notes entre 6 et 7,5, un 3 et un 10 esseulés sont ceux qui bouleversent la moyenne, et ce peu importe qui les a noté comme ça.
Après je sais pas si ou comment un algorithme peut repérer ces dangereux extrémistes qui souillent nos belles moyennes et quelle "pondération" leur appliquer par la suite...
16/09/2018 00:27:32
Ou alors, il y a un choix qui serait infiniment plus audacieux, ce serait de faire l'inverse de ce que propose banana, c'est-à-dire d'accorder plus d'importance aux notes marginales pour rompre la normalisation des moyennes. Ce serait casse-gueule mais sacrément osé, et ça tendrait vers un éloge de la marge qui irait dans le sens du projet originel du site.

(Imaginez qu'une telle mesure prenne forme, ça entraînerait peut-être un déchaînement des passions ! Une pluie de 1 et de 10 qui s'abattent sur le site, accompagnés de commentaires tranchants et demesurés ! "Ce film est nul, et je vous le fait savoir ! Tombe, tombe, moyenne trop haute de cet immonde navet ! Que je ne te revoie plus traîner au-dessus du 8/10 !" Le rêve !)Message édité
16/09/2018 00:33:28
Je ne suis pas du tout convaincu non plus. Déjà parce que personnellement je me fiche un petit peu des moyennes (après je peux comprendre que certaines personnes aiment bien cet outil) puis je n'aime pas vraiment l'idée de rendre potentiellement un membre "plus important qu'un autre" sous prétexte qu'il note plus ou moins généreusement (puis comme l'a souligné Melaine ça ne veut pas forcément dire grand-chose)
16/09/2018 01:12:45
Je ne comprends pas l'intérêt. Pour "affiner" la moyenne on a les guides et même les groupes de guides.

De plus certains membres sont plus sévères/généreux aussi en fonction des films qu'ils regardent. Certains vont se faire l'intégrale des sexy dance donc forcément il y a aura plus de films avec des notes basses. Alors que d'autres vont éviter les films qu'ils pressentent comme évidemment mauvais.
16/09/2018 01:13:05
L'intention soulève un débat intéressant, mais dans l'absolu, c'est surtout un risque de creuser le fossé entre le concept "généreux" et "strict" ainsi que d'autres "méthodes" de notation.

Mais je suis curieux de savoir ce qui t'a poussé à proposer l'idée en fait.
16/09/2018 01:18:40
Les notes de Melaine :D
16/09/2018 01:24:20
Plutôt d'accord avec le premier post de Melaine et celui de Zoomat.
Les moyennes sur les films c'est ce que tu vois en premier, viens ensuite les avis quand il y en a.
Mais à la fin quand tu connais un peu le site et ses membres ce sont justement ces dernier.e.s qui te feront découvrir des films.
Suivant que certain.e.s partagent des attirances communes etc, on s'oriente plus de cette façon à mon avis que réellement aux notes.

Je trouve qu'on donne peut être trop d'importance à ces notes.
16/09/2018 09:56:15
Pour rester du point de vue mathématique, tout ce que vous dites n'est pas entièrement exact. Il n'y a pas nécessairement de corrélation entre moyenne et écart-type. Pour reprendre un exemple cité, si quelqu'un a une moyenne basse en n'ayant vu que des mauvais films, alors ses notes ne seront quasiment pas pondérées. La pondération n'est pas calculée à partir de la moyenne d'un membre, mais de l'écart-type entre ses notes et les moyennes des films.

L'idée, au fond, c'est d'uniformiser un peu les barèmes. Fuz a un barème sur 3 notes, Reso a 10% de 1, moi j'ai 20% de 3... L'idéal serait de dire que le ressentit d'un 2 de Melaine s'approche d'un 5 de Kaelin. Ce n'est donc pas, comme cela a été dit, donner plus de poids à certains membres (ce que je précisais bien dès le début).

Evidemment, tout ça reste mathématique et c'est beaucoup de réflexion pour quelques centièmes de moyenne. Et un gros casse tête pour trouver un algo pertinent.
16/09/2018 10:12:10
Effectivement l'intérêt est tout relatif mais au final je trouve ça pertinent.
16/09/2018 10:21:57
Et pour ceux qui disent que les moyennes n'ont pas d'importance, c'est un peu se voiler la face car quand on clique sur un réalisateur / un tag / une liste, les films étant triés par ordre décroissant des moyennes, notre cerveau a fatalement tendance à se diriger vers les mieux notés et à ignorer ceux du bas.

Justement la moyenne a trop d'importance sur le site, je serais même pour la masquer quand on n'a pas vu le film en question car elle a une influence néfaste (genre: un film m'intéresse, mince il a que 6 de moyenne, je vais peut-être pas le voir en fait).

La pondérer ne la rendra pas plus importante, juste légèrement plus réaliste.Message édité
16/09/2018 10:34:57
Perso j'ai beaucoup plus tendance à regarder le nombre de notes que la moyenne. Ce sont des métriques qui sont intrinsèquement liés pour moi sur CL. Si un réal a plein de films avec 8 de moyennes mais qui sont seulement notés par une ou deux personnes, et un film avec 5 de moyenne mais noté par 20 personnes, instinctivement je vais aller voir la fiche de ce dernier parce que je sais que c'est là que j'ai le plus de chance de trouver des discussions, une galerie, des avis...

Enfin voilà pour prendre un exemple tout con j'ai récemment vu Three Yakuza que j'ai beaucoup aimé, je lui ai mis une très bonne note et paf il est immédiatement venu se hisser à la 2em place sur tag Chambara. Est-ce qu'il va voler la vedette aux autres films pour autant ? Les gens qui n'ont pas les mêmes goûts que moi vont tout de suite voir que c'est moi qui l'ai noté et ne vont pas forcément s'y intéresser.
Bon bien sûr quand on parle de films avec beaucoup de notes la moyenne prend peut-être un peu plus d'importance mais encore une fois ça veut aussi dire que la pondération se fera d'elle même.
16/09/2018 16:32:05
frankwa a écrit :Et pour ceux qui disent que les moyennes n'ont pas d'importance, c'est un peu se voiler la face car quand on clique sur un réalisateur / un tag / une liste, les films étant triés par ordre décroissant des moyennes, notre cerveau a fatalement tendance à se diriger vers les mieux notés et à ignorer ceux du bas.


Je comprends ce que tu dis mais je trouve que c'est généralisé. Et surtout je pense que ça c'est simplement le premier palier. Encore que Zoomat ne procède pas de cette façon et n'est probablement pas le seul.

Certains procéderont plutôt à regarder les films chronologiquement de son réalisateur, d'autres effectivement regarderont d'abord ceux qui ont de très bonnes notes. Bref il y a de tout.

Et de mon côté je procède aussi avec des films à bonnes notes, mais si pour un autre avec une moyenne plus basse possède un ou des avis qui me donne bien envie, tu peux être sûr que j'irai le voir en premier.

Et c'est encore différent du fait qu'on puisse regarder des films à bonne moyenne et qu'on lui attribue une bonne note...
Et il y aussi des cas où certains films sont bien notés mais que je sais pertinemment que je ne vais pas aimer, même si je suis content de me tromper et d'être surpris.

Bref, une moyenne seule ne fait pas assez de taff' à mon sens. J'aurais tendance à dire que tu vas regarder qui a noté tel film dans cette moyenne, voir leur note et quand tu connais leurs orientations/goûts + s'il y a des avis/commentaires intéressants c'est ce qui te poussera ou non à regarder le film.

Par exemple quand resolution met un 7 à un film et que son avis me tente beaucoup (et me connaissant) il y a des chances que j'aime et je sois plus généreux en terme de note. L'inverse existe aussi avec d'autres personnes.

Zoomat +1
16/09/2018 21:39:04
Et pourquoi ne pas établir une règle qui voudrait que lorsqu'on met une note extrême (que ce soit un 1 ou un 10, ou par rapport à la moyenne de l'utilisateur ou du film), le système nous "oblige" à rédiger un commentaire/avis pour justifier l'attribution d'une telle note ?

D'une part cela pourrait encourager le débat d'idée entre avis extrêmes (plutôt que de se limiter à une série de notes stériles souvent classée sans suite) ; et d'autre part, peut-être dissuader certains de mettre des notes extrêmes "gratuitement", puisque cela exigerait un "investissement" en termes d'écriture.
16/09/2018 21:51:42
Pour ce qui est de la pondération, je trouve l'idée très stimulante sur le papier - ça permet de réfléchir sur les différences de barème entre membres, le 3 d'un tel est équivalent au 5 d'un autre et son 8 vaut 10. C'est vraiment intéressant !

Après, dans les faits, je n'ai pas l'impression que ça change énormément de choses... Alors pourquoi ne pas tenter la chose juste histoire de voir, on ne perd rien à expérimenter l'algorithme. Sauf si bien sûr ça devient trop lourd à programmer. Si c'est le cas, je ne trouve pas que cela soit vraiment primordial dans l'absolu. Comme ça été dit avant, la communauté n'est pas immense, on se connait assez pour savoir "décrypter" les notes des membres/moyennes des films.
16/09/2018 22:24:31
mos3n a écrit :Et pourquoi ne pas établir une règle qui voudrait que lorsqu'on met une note extrême (que ce soit un 1 ou un 10, ou par rapport à la moyenne de l'utilisateur ou du film), le système nous "oblige" à rédiger un commentaire/avis pour justifier l'attribution d'une telle note ?

D'une part cela pourrait encourager le débat d'idée entre avis extrêmes (plutôt que de se limiter à une série de notes stériles souvent classée sans suite) ; et d'autre part, peut-être dissuader certains de mettre des notes extrêmes "gratuitement", puisque cela exigerait un "investissement" en termes d'écriture.


:d) Franchement l'initiative est louable, mais personnellement j'ai pas le temps d'expliquer pourquoi je mets 1 à Jurassic World 2 ou Pacific Rim Uprising. Et à contrario, j'ai pas non plus envie d'expliquer pourquoi je mets 10 à Blade Runner. :hap:

Mais je comprends aussi ton raisonnement, parce qu'on a automatiquement envie de demander à tel membre pourquoi il met 10 à tel film paraissant (ou admis comme) mineur, et inversement.
16/09/2018 22:40:03
Oui, sauf que Pacific Rim: Uprising a une moyenne de 3.39, donc ton 1 ne serait pas très éloigné de l'avis général des membres du site. Si tu lui mettais 10, là par contre cela mériterait des explications !

En fait, cela correspondrait à "justifier" nos notes extrêmes - qui sont trouvables sur le profil d'un membre dans Spécificités > Extrêmes :
Dans ton cas Lt-Schaffer , il faudrait que tu expliques ton 9 à Batman & Robin (1997) de Joel Schumacher dont la moyenne est à 2.72 avec 87 notes (soit +6.28) ; ou ton 1.5 à Still the Water (2014) de Naomi Kawase, 6.63 de moyenne pour 38 notes (-5.61).Message édité