El dilema de la innovación sugiere que los modelos 'mejores' no siempre son mejores

 Si tuviera que predecir la probabilidad de que un meteoro catastrófico golpee la Tierra, probablemente querrá los modelos más precisos en los que basar sus predicciones. Pero un nuevo artículo muestra que, debido a que los modelos más precisos son generalmente más innovadores y complejos, pueden sufrir una mayor probabilidad de error. En consecuencia, es posible que los modelos más innovadores y precisos no ofrezcan los mejores métodos para hacer predicciones, especialmente de eventos raros y de grandes consecuencias.

Yakov Ben-Haim, profesor de ingeniería mecánica en el Instituto de Tecnología Technion-Israel en Haifa, Israel, ha investigado este "dilema de innovación" en un número reciente de The Proceedings of The Royal Society A.

"Un modelo que utiliza conceptos y resultados innovadores y nuevos puede de hecho ser más propenso a errores que un modelo más estándar de última generación", dijo Ben-Haim a Phys.org. "Los modelos innovadores reflejan el progreso, pero no todo el progreso es una mejora real".

Para ser claros, Ben-Haim hace una distinción entre conclusiones válidas y argumentos sólidos. Su enfoque no es llegar a una conclusión válida per se, sino más bien desarrollar los argumentos más lógicamente sólidos que utilizan modelos para llegar a conclusiones. Como señala, es posible llegar a una conclusión válida con un argumento defectuoso. Pero un argumento muy sólido tiene una mayor probabilidad de arrojar conclusiones válidas, en general.

El resultado principal del artículo es que existe una compensación entre la solidez del argumento (un indicador de desempeño) y la solidez al error en el argumento. La naturaleza exacta de esta compensación difiere según los diferentes argumentos, y los modelos innovadores pueden estar sujetos a una compensación más severa que los modelos más simples.

En resumen, si bien un modelo innovador puede ser capaz de lograr un argumento más sólido que un modelo más simple, también puede tener una mayor probabilidad de error y, por lo tanto, ser menos confiable para predecir eventos muy raros. Por tanto, puede resultar ventajoso utilizar el modelo más simple, si su probabilidad de error es menor. En general, la idea es que diferentes modelos funcionan mejor para diferentes situaciones, y que la suposición predeterminada habitual (utilizar el modelo más avanzado o sofisticado) puede no ser el enfoque más confiable.

En particular, las situaciones que implican hacer predicciones para eventos de baja probabilidad y alto riesgo, como el impacto de un meteorito catastrófico o una explosión en una planta de energía nuclear, pueden beneficiarse de modelos más simples. Esto se debe a que estos eventos tienen una probabilidad tan baja de ocurrir que la probabilidad de error en el argumento en realidad puede exceder la probabilidad de que ocurra el evento. En tal caso, el error reduce nuestra confianza en la probabilidad estimada de que ocurra el evento en un grado tan grande que podría ser mejor optar por un modelo más simple debido a su menor probabilidad de error.

Para llegar a estos resultados, Ben-Haim utilizó un enfoque llamado teoría de la brecha de información para analizar la solidez y el error del razonamiento lógico. La teoría de la brecha de información se utiliza tradicionalmente para la toma de decisiones en situaciones con niveles muy altos de incertidumbre, y se ha utilizado en áreas como la ingeniería, la economía y la medicina, entre otras. La aplicación de la teoría de la brecha de información para evaluar la incertidumbre de un argumento es un uso nuevo y bastante diferente, y demuestra que la teoría puede extenderse a áreas de mayor alcance.

"El análisis de la brecha de información de la robustez al error proporciona una herramienta para mejorar la capacidad de predecir eventos raros y de altas consecuencias", dijo Ben-Haim.