En espera de que Yun nos remita la segunda parte de su post sobre periodistas, informantes y expertos sobre China, bueno será hacer constar la reciente publicación de un libro que, con datos en la mano, pone en tela de juicio la capacidad de los expertos en una materia (y por consiguiente también la de los sinólogos) para hacer predicciones fiables sobre aquélla.
El libro en cuestión, de cuya existencia me he enterado gracias a Tyler Cowen, se titula “Expert Political Judgment” y ha sido escrito por el psicólogo cognitivo y profesor de la Universidad de Berkeley Philip Tetlock.
No he leído Expert Political Judgment, tan solo el primero de sus capítulos , pero ya en éste se formula una de las principales conclusiones del libro: la de que los expertos, cuando hacen predicciones, no son muy de fiar.
Tetlock ha llegado a esta conclusión después de analizar 82.361 predicciones realizadas por expertos de distintos países durante más de 20 años sobre las más diversas materias (desde la transición a la democracia hasta la proliferación nuclear, entre otras muchas) y comparar su grado de acierto con el obtenido por diletantes, chimpancés tirando dardos o extrapolaciones realizadas utilizando fórmulas basadas en el cálculo de probabilidades. Tetlock afirma que, después de realizada semejante comparación, se encontró con muy pocos indicios de que un conocimiento experto se traduzca into greater ability to make either “well-calibrated” or “discriminating” forecasts, incluso cuando la materia sobre la que se había preguntado al experto (en el experimento participaron más de 284) pertenecía al ámbito de su competencia.
Louis Menand, que ha escrito una crítica del libro de Tetlock para The New Yorker, afirma que los resultados obtenidos por el psicólogo californiano no hacen sino confirmar lo que una copiosa literatura científica ya había repetidamente acreditado: que las predicciones realizadas por expertos no son mejores que las que se pueden obtener utilizando formulas estadísticas o actuariales.
Tetlock, sin embargo, no llega a manifestar, respecto al conocimiento experto, un escepticismo tan radical como el de Menand. Para el primero, es posible encontrar en aquellos expertos que han acertado más veces en sus predicciones un modo de razonar distinto del de los que menos éxito tuvieron.
Sirviéndose de una terminología que Isaiha Berlin acuñara para un ensayo sobre Tolstoi, Tetlock denomina “erizos” a los expertos que, en su experimento, han obtenido los peores resulados y “zorros” a los que han obtenido los mejores. Unos y otros no se diferencian por lo que piensan (”zorros” y “erizos” se distribuyen en la misma proporción entre la izquierda y la derecha) sino por cómo piensan. En palabras de Tetlock:
The intellectually aggressive hedgehogs knew one big thing and sought, under the banner of parsimony, to expand the explanatory power of that big thing to “cover” new cases; the more eclectic foxes knew many little things and were content to improvise ad hoc solutions to keep pace with a rapidly changing world.
Treating the regional forecasting studies as a decathlon between rival strategies of making sense of the world, the foxes consistently edge out the hedgehogs but enjoy their most decisive victories in long-term exercises inside their domains of expertise. Analysis of explanations for their predictions sheds light on how foxes pulled off this cognitive-stylistic coup. The foxes’ self-critical, point-counterpoint style of thinking prevented them from building up the sorts of excessive enthusiasm for their predictions that hedgehogs, especially well-informed ones, displayed for theirs. Foxes were more sensitive to how contradictory forces can yield stable equilibria and, as a result, “overpredicted” fewer departures, good or bad, from the status quo. But foxes did not mindlessly predict the past. They recognized the precariousness of many equilibria and hedged their bets by rarely ruling out anything as “impossible.”
These results favor meliorism over skepticism–and they favor the pro-complexity branch of meliorism, which proclaims the adaptive superiority of the tentative, balanced modes of thinking favored by foxes,38 over the pro-simplicity branch, which proclaims the superiority of the confident, decisive modes of thinking favored by hedgehogs.39 These results also domesticate radical skepticism, with its wild-eyed implication that experts have nothing useful to tell us about the future beyond what we could have learned from tossing coins or inspecting goat entrails. This tamer brand of skepticism–skeptical meliorism–still warns of the dangers of hubris, but it allows for how a self-critical, dialectical style of reasoning can spare experts the big mistakes that hammer down the accuracy of their more intellectually exuberant colleagues.
Para Tetlock, por tanto, es posible mejorar el debate político si los expertos que participan en él formularan sus predicciones de forma que sea posible testar luego su validez, esto es, como un cálculo de probabilidades que pueda luego ser comprobado empíricamente.
Para Menand, sin embargo:
(…)the suggestion that we can improve expert judgment by applying the lessons of cognitive science and probability theory belongs to the abiding modern American faith in expertise. As a professional, Tetlock is, after all, an expert, and he would like to believe in expertise. So he is distressed that political forecasters turn out to be as unreliable as the psychological literature predicted, but heartened to think that there might be a way of raising the standard. The hope for a little more accountability is hard to dissent from. It would be nice if there were fewer partisans on television disguised as “analysts” and “experts” (and who would not want to see more foxes?). But the best lesson of Tetlock’s book may be the one that he seems most reluctant to draw: Think for yourself.
