¿Productos con estrella? La verdad sobre las valoraciones online

Ya sea en Amazon o Airbnb, confiamos en las valoraciones de los clientes para determinar la calidad de los productos. Pero las estrellas pueden ser engañosas, especialmente cuando se comparan entre diferentes plataformas.

• El uso de la sabiduría de las multitudes para calificar productos con estrellas suele conllevar sesgos sistémicos.
• Las valoraciones generales de los productos difieren en función de si se pide o no una calificación de las dimensiones individuales y cuáles se incluyen.
• Las calificaciones generales no se pueden comparar entre plataformas.

Cada vez es más habitual pedir a los usuarios que valoren sus compras, a menudo en forma de clasificaciones de estrellas. Este sistema aprovecha la sabiduría de las multitudes para ofrecer una evaluación más objetiva que la que dan los vendedores. La intención es ayudar a los clientes a detectar los malos productos y que los buenos perciban la atención que merecen.

Sin embargo, el profesor del IESE Christoph Schneider —junto con Markus Weinmann, Peter N.C. Mohr y Jan vom Brocke— ha descubierto que las calificaciones de estrellas suelen conllevar sesgos sistémicos. Comprenderlos ayudaría tanto a los consumidores como a las empresas.

Sesgo de clasificación dimensional

Los autores han estudiado cómo el propio sistema de calificación influye en los resultados; es decir, cómo la arquitectura de la elección influye en las evaluaciones. Para ello, han examinado los sistemas de calificación unidimensionales y los multidimensionales que se utilizan para evaluar restaurantes y películas, así como una universidad, en plataformas online. Mientras que con un sistema unidimensional se pide una puntuación general, uno multidimensional supone un desglose: "¿Cómo calificaría la comida del restaurante? ¿Qué tal el servicio? ¿Y el ambiente?" En siete estudios distintos, Schneider y sus coautores examinan cómo influyen en la satisfacción del cliente estos diferentes sistemas de calificación.

Según las conclusiones del estudio, las calificaciones dimensionales influyen en las valoraciones generales. De hecho, cuando se pide a los usuarios que piensen en términos de dimensiones, la calificación general se ve afectada. Así, si las dimensiones individuales reciben una alta valoración, la calificación general tiende a ser más elevada que en una plataforma que pida una única calificación global. Por contra, cuando las dimensiones individuales reciben puntuaciones bajas, la puntuación global se reduce, sin importar si las dimensiones escogidas son realmente relevantes para la satisfacción general del cliente.

Implicaciones prácticas

Los autores han identificado una serie de grupos de interés a quienes puede beneficiar conocer los sesgos de calificación.

Por un lado, los proveedores de servicios de valoración deben ser conscientes de que las clasificaciones multidimensionales ofrecen una imagen más completa del producto, pero que también influyen de forma errónea en la valoración global. En lugar de pedir calificaciones tanto dimensionales como generales, estos proveedores podrían desarrollar un sistema propio de valoración a partir de datos agregados para obtener resultados menos sesgados.

Los vendedores de los productos y servicios valorados deberían tener en cuenta que los sistemas de clasificación son más ventajosos si las dimensiones encajan bien con lo que ofrecen. Por ello, deberían ser conscientes de qué preguntas se hacen (y de las que no) a los usuarios a los que se invita a valorar su compra.

En cuanto a los consumidores, quieren saber si van a disfrutar con tal o cual restaurante, película, etc. Para lograr este fin, según el estudio, deberían confiar más en sistemas de calificación transparentes, que les permitan conocer qué dimensiones de un producto se están evaluando, para determinar de forma crítica si son las más útiles para ellos. Por ejemplo, una valoración general de un restaurante en la que se ha tenido en cuenta la decoración puede ser poco relevante para muchos de sus clientes.

En muchos sentidos, las valoraciones online son un fenómeno nuevo. Aunque una calificación de una a cinco estrellas pueda parecer una métrica simple, hay que tener en cuenta que existen sesgos ocultos que la complican.

Sobre la investigación

A partir de la pregunta "¿Cómo influyen los sistemas de calificación multidimensional en las valoraciones generales?", los autores comprueban su hipótesis con una serie de siete estudios que contienen un total de 17 condiciones, tanto en entornos muy controlados como en realistas. Los estudios tienen lugar entre 2016 y 2019, con participantes de Australia, Canadá, Inglaterra, Liechtenstein, Nueva Zelanda y Estados Unidos.