Experto o farsante

Aprende a diferenciar si las predicciones de tus asesores fueron hechas con base en el conocimiento o al tanteo.
Peter Gwynne / Kellogg Business School

Cuando los antiguos griegos tenían dudas sobre el futuro, consultaban al oráculo de Delfos. Hoy, los individuos con dudas en temas tales como los precios futuros de las acciones, las tendencias energéticas, la diferencia de puntos en futbol y hasta el clima de la semana que viene consultan a los expertos en cada una de estas áreas. 

Muchos de esos expertos basan sus consejos en el razonamiento científico. Pero muchos confían en la mercadotecnia inteligente, la seudociencia y en predicciones cuidadosamente calibradas más que en el conocimiento genuino de las áreas sobre las cuales se hacen los pronósticos.

A menudo estos individuos mantienen la reputación de sus habilidades de predicción porque es sorpresivamente difícil distinguir entre los expertos falsos y los genuinos. Ahora, un equipo de Kellogg ha elaborado una prueba que permite, precisamente, esta diferenciación  en ciertas circunstancias.

"Nuestra prueba analiza a expertos conocedores y no conocedores", dice Alvaro Sandroni, profesor de Economía de Gestión y de Ciencias de la Decisión, que trabajó en el proyecto junto con Nabil Al-Najjar, también profesor de MEDS, Jonathan Weinstein, profesor asociado de MEDS, y Rann Smorodinsky, profesor asociado del Instituto Tecnológico de Israel. "Si usted sabe qué sucede, pasará la prueba. Si usted no sabe, no decimos que no va a pasar la prueba, pero no hay garantías absolutas de que la vaya a pasar".

Sandroni continúa: "Este trabajo forma parte de una agenda de investigación fundada en una simple pregunta: ¿Cómo sabemos que un experto tiene información que nosotros no tenemos y cómo sabemos que la ciencia se basa en algo que va más allá del entendimiento común de las cosas?". Y Weinstein agrega: "Es muy importante evaluar la experiencia y la excelencia. Necesitamos ser capaces de identificar en quién confiar". Al-Najjar ubica este trabajo dentro de un contexto más amplio. La idea básica, dice, "es entender las fronteras entre las partes del conocimiento que se pueden poner a prueba y las partes que no. Éste es el primer trabajo que introduce restricciones en la estructura de creencias y que hace que estas creencias sean factibles de probar".

Un hallazgo sorprendente

La investigación amplía una serie de estudios sobre la excelencia de la pruebas; éstas han llegado a lo que los autores del trabajo denominan el "hallazgo más sólido y sorprendente... que todos los tests razonables pueden manipularse". Este hecho podría ser contraintuitivo, pero los investigadores lo aceptan universalmente. "Es posible  ocultar la ignorancia absoluta por medio de un lenguaje de probabilidades y a la vez es muy difícil dejar en evidencia esta ignorancia", resume Sandroni. "Se da una impresión falsa de excelencia cuando lo único que hay es ignorancia. Sin duda, para ser exitoso hay que hacer esto de manera muy especial y específica, con extremada cautela y absoluta precisión".

Weinstein señala las implicaciones del hallazgo para los futuros examinadores de expertos. "Significa que no tenemos un mundo perfecto con una prueba perfecta", dice. Sin embargo, las pruebas con ciertas restricciones siguen siendo factibles. El equipo de Kellogg se enfocó en identificar las limitaciones que no fueran ni tan restrictivas ni  tan permisivas, y en incorporarlas a una prueba de excelencia.

"Asumimos el peor de los casos: que los expertos falsos entiendan la prueba a la perfección y cómo manipularla. Suponemos que hay expertos en manipulación", dice Weinstein. "Pero reconocemos que existe una delgada línea. Si su prueba es demasiando restrictiva, los expertos reales van a reprobar. Pero si no es lo suficientemente detallada, usted permitirá que aprueben personas que tratan de engañarlo".

Learnability y predictabilidad  

La prueba, desarrollada utilizando herramientas matemáticas estándar, depende de dos fenómenos claves: la capacidad para ser aprendido o learnability y la predictabilidad. "Vemos la predicciones y lo que realmente sucedió, y con base en esto, queremos saber si el vaticinador tiene conocimientos sobre lo que está tratando de predecir", dice Sandroni.

Weinstein esquematiza el proceso de la siguiente manera: "En primer lugar, los expertos a quienes se somete a la prueba tienen que establecer la cantidad de tiempo que necesitarán para aprender algo sobre lo que están tratando de predecir; ésta es la capacidad para ser aprendido", explica. "Luego, cuando llegan al tiempo límite, tienen que hacer una predicción sumamente específica que pueda ser comprobada, por ejemplo, que durante 50 días el mercado tendrá un alza en 80% de este tiempo; esto es la predictabilidad".

El equipo sintetiza estos dos requisitos en su artículo. "Debe haber un punto en el cual la teoría (de los expertos) formule predicciones que puedan ser probadas", señalan los investigadores. Además, dice Sandroni, "el experto tiene que proporcionar las razones por las cuales está prediciendo en uno u otro sentido, razones basadas en un conjunto de parámetros. Los datos se usan hasta cierto punto y los parámetros se ponen a prueba de manera separada. La prueba sigue los procedimientos científicos habituales para identificar elementos centrales usando datos y, habiendo identificado estos elementos centrales, usa más datos para confirmarlos. El punto es que nuestra prueba no puede ser manipulada mientras que otras pruebas aparentemente similares, sí".

Tal como lo demuestra el ejemplo de predicción de mercado de Weinstein, la prueba requiere que los expertos hagan su pronóstico con base en probabilidades más que en simples respuestas de sí y no. Los pronosticadores del tiempo ilustran este criterio. Generalmente encuadran sus pronósticos en términos de porcentajes de probabilidad de lluvia, nieve, horas de sol u otro fenómeno meteorológico. "Esto se está convirtiendo en el modo correcto de presentar las consultas en otros ámbitos, por ejemplo, en el campo del análisis político, en estudios médicos y hasta en las apuestas de deportes, y en cualquier área en la cual las consultas se hacen en términos de probabilidades", dice Sandroni.

La demanda de porcentajes pone una restricción automática a la prueba. Requiere lo que Weinstein llama "un flujo de datos repetidos y relativamente largos" -factores continuamente variables, tales como la información financiera que se mueve con el mercado o los márgenes de puntos que cambian en base al parte de lesiones o los pronósticos del tiempo de cada día-.

Liberación de la acción

Las restricciones como éstas agregan valor a la nueva prueba. "Mientras existan más restricciones, será más difícil manipular las pruebas porque hay que manipularlas de cierta manera", señala Sandroni. Pero la prueba también da a sus sujetos cierto grado de libertad. "Tratamos de reconocer que las personas pueden hacer predicciones exactas un si no son precisas", dice Weinstein.

Inicia el día bien informado
Recibe todas las mañanas las noticias más importantes para empezar tu día.

"Tenemos que permitirles cierto grado de libertad de acción. El tema es cuánta libertad de acción es la correcta". Sandroni enfatiza que la prueba se enfoca en los individuos que parecen dar una impresión falsa de sus habilidades de predicción. "El experto honesto no informado sería muy fácil de diferenciar del experto honesto e informado", dice. "Estamos observando a un experto deshonesto que puede mantener su falsa reputación haciendo predicciones estratégicas". ¿Cuál es el mensaje que deja este proyecto? "Si elaboramos requisitos específicos sobre cuánto tiempo tiene el experto para aprender y sobre la precisión con la cual tiene que predecir, entonces podemos diferenciar entre los estafadores y las personas que son capaces de hacer este tipo de predicciones", comenta Weinstein.

Al-Najjar analiza las implicaciones de este trabajo para las corporaciones y para otras instituciones. "La tensión entre el compromiso y la flexibilidad ha sido reconocida por filósofos y estrategas", explica. "El mensaje más importante de este trabajo es que esta tensión está basada en los problemas de las pruebas y del aprendizaje. Tanto la puesta a prueba del marco referencial propio como el aprendizaje a partir de un entorno cambiante son elementos esenciales para una organización dinámica, adaptativa".

Ahora ve
El comportamiento de la pobreza en los municipios mexicanos entre 2010 y 2015
No te pierdas
×