Categoría: Ciencia y tecnología

INTELIGENCIA ARTIFICIAL ¿QUO VADIS?

En las últimas semanas he tenido ocasión de leer dos libros y un artículo en los que estuvo presente Henry Kissinger. A sus casi cien años fue capaz de ofrecer una iluminación real sobre los problemas a que nos enfrenta el desarrollo de la inteligencia artificial, Genesis: Artificial Intelligence, Hope and the Human Spirit, The Age of AI y How the Enlightenment ends.

La primera conclusión que podemos sacar es que nadie sabe la evolución y hasta dónde puede llevarnos el desarrollo de la inteligencia artificial. Nada extraño; en los primeros tiempos de los ordenadores, se atribuyó a Bill Gates la previsión de un máximo de cien ordenadores en todo el mundo y poco después se atribuyó al mismo la idea de que nunca serían necesarias más de 640Ks en la memoria. Sean o no auténticas las citas, marcan un hecho: Nadie fue capaz de anticipar la evolución de la tecnología de la información y hoy nadie es capaz de anticipar con certeza hasta dónde y en qué dirección nos puede llevar el desarrollo de la inteligencia artificial.

El propio Kissinger utilizaba un ejemplo del desarrollo de la aviación perfectamente aplicable: Al principio, se observó cómo volaban los pájaros y se les trató de imitar. Más adelante, se encontró que se podía volar de una manera distinta a la de los pájaros y, con el tiempo, una vez que se conoció con detalle cómo vuelan los pájaros y la tecnología había avanzado bastante para imitarlos, se encontró que no era necesario porque había otra forma de volar mucho más eficiente. Ése es el estado actual.

Con la inteligencia artificial puede ocurrir algo parecido: Se intentó imitar a un cerebro humano cuyo funcionamiento no se conocía en profundidad y cuando alguien -Marvin Minsky y su grupo en el MIT- con más soberbia que conocimiento, despreció esa guía por entender que estaba lleno de basura evolutiva no funcional, produjo un largo invierno de la inteligencia artificial. No existía la capacidad de procesamiento ni, sobre todo, el volumen de datos que puede ser necesario para que exista algo digno de ser llamado inteligencia artificial.

Hoy sí existen ambas cosas y aunque el conocimiento sobre el cerebro sigue siendo limitado, tal como ocurrió en aviación, podríamos encontrar que existen formas de funcionamiento distintas de las utilizadas por el cerebro humano pero que consiguen resultados. Las máquinas no piensan ni son conscientes pero ¿pueden encontrarse formas de resolver problemas complejos que no necesiten ni lo uno ni lo otro? Hoy ya las hay; las máquinas manejan volumen de datos imposibles para el humano y, como sabemos hace tiempo, por encima de determinado nivel, lo cuantitativo se torna en cualitativo y puede dar lugar a escenarios distintos.

Me gustaría expresar esta situación con un pequeño experimento mental basado en los LLM (Large Language Models) y en su potencial. El acceso a una ingente cantidad de información escrita y hablada en un idioma -incluidos los diccionarios- puede hacer que, en un tiempo corto- la inteligencia artificial sea capaz de dominar un lenguaje y superar con holgura el criterio de Turing, es decir, hacer creer a una persona que está hablando con otra persona y no con una máquina.

Supongamos, pues, que un sistema tiene acceso a una enorme cantidad de información en un idioma y se trata de conseguir que lo domine de la forma más perfecta posible. Nada extraño; eso ya está funcionando.

Vayamos al siguiente paso: Supongamos que a ese mismo sistema le pedimos que haga lo mismo en varios idiomas distintos. Tampoco resulta extraño; los LLM al uso contestan en el idioma que se les pregunta.

Vayamos ahora a un tercer paso: Supongamos que le pedimos al sistema que identifique todas las ineficiencias y las confusiones que tienen los distintos idiomas y que produzca un idioma perfecto; tal vez con una gramática tan sencilla o más que la inglesa pero sin la multitud de excepciones y con reglas de pronunciación constantes; tan preciso como el alemán, el español o el francés pero sin su complejidad gramatical, con una pronunciación sencilla, según la cual, el lenguaje escrito y el hablado vayan juntos y la lectura de una palabra permita instantáneamente conocer su pronunciación sin necesidad de haberla oído antes; es decir, sin problemas como los del cantonés y el mandarín o las distintas variedades de árabe, sin varios alfabetos que convivan como el japonés ni tantos caracteres como el chino…¿misión imposible?

Tal vez no…en la parte técnica. Es posible que la inteligencia artificial pueda generar un nuevo lenguaje pero se tropezaría con el mismo problema que afrontaron los iniciadores del esperanto: Nadie lo habla, aprender un idioma representa un esfuerzo importante y, tal vez, muchos prefieran mantener la situación actual.

Si vamos al aspecto demográfico, el chino sería el idioma con más hablantes nativos pero es un idioma extremadamente difícil. ¿Podría la inteligencia artificial generar una lingua franca partiendo de cero? ¿Qué aceptación tendría?

Aparentemente éste sería un punto muerto, porque todos querrían un idioma lo más parecido al propio, de forma que el esfuerzo de aprendizaje fuese el menor posible pero ¿qué ocurriría si la inteligencia artificial crease un lenguaje propio para entenderse con otros sistemas? Al parecer, esto también ha ocurrido ya en el caso de Bob y Alice, dos inteligencias artificiales que acabaron generando un lenguaje propio para entenderse entre ellas.

Volvemos al punto inicial: ¿Tendría aceptación tal lenguaje entre los humanos? Probablemente no, pero hay una segunda pregunta: ¿Y si eso no tuviera relevancia alguna? Una vez que la inteligencia artificial esté presente en multitud de ámbitos, los humanos pueden tener un gran incentivo para aprender ese lenguaje…al igual que hoy mucha gente cuyo idioma nativo no es el inglés lo utiliza. Probablemente hay más interacción en inglés entre personas que no lo tienen como idioma nativo  que entre hablantes nativos; de igual forma, podría acabarse aceptando un idioma artificial que hoy no existe y que no tiene relación con ninguno de los idiomas conocidos…pero que es el idioma adecuado para entenderse con la tecnología.

Más aún; desde hace años es posible entenderse, aunque con limitaciones, mediante el recurso de hablarle al Google Translator y pedirle que haga una traducción hablada al lenguaje del interlocutor. Cabe esperar que, a corto plazo, esta posibilidad mejore y, quizás, el aprendizaje de otros idiomas pase a ser una cosa del pasado.

Por supuesto, este mismo principio puede aplicarse a muchos otros ámbitos: ¿Para qué aprender si nunca se va a llegar al nivel de una inteligencia artificial especializada? Ésta es la idea de base en How the Enlightenment ends; determinadas líneas de progreso tecnológico pueden convertir al ser humano en irrelevante y ¿después?

No es algo que vaya a suceder en varios siglos; hay que tener en cuenta que los ciclos de aprendizaje de la inteligencia artificial son infinitamente más rápidos que los humanos y en unos pocos años se podrían suceder miles de generaciones. El futuro no está en el largo plazo; está a la vuelta de la esquina.

Me gustaría finalizar con la paradoja de Turing y las consecuencias que podemos extraer de ella: Según Turing, la prueba de inteligencia de una máquina estaría en el hecho de que fuera capaz de engañar a un humano, haciendo a éste creer que su interlocutor era un humano y no una máquina. Esto dio lugar a la famosa controversia de la habitación china de Searle y quedó claro que una cosa es operar y otra cosa es comprender. Sin embargo, la prueba real de inteligencia no está en engañar a un humano sino otros sitios; una de ellas la proporcionó el propio Turing: En su trabajo de Bletchley Park con la máquina Enigma, partió de dos principios: El lenguaje original en el que estaban redactados los mensajes era el alemán y, además, en algunas situaciones se sabía de qué estaban hablando. Esto, junto con el hecho de que disponían de una máquina de una generación anterior con los mismos principios de funcionamiento, fue suficiente para romper el código Enigma.

¿Habría sido capaz una inteligencia artificial de utilizar esos dos elementos -asumir que el mensaje original está en alemán y saber de qué se está hablando- si previamente no hubieran estado entre los datos con los que se podía operar? Como mínimo, es dudoso.

Sin embargo, la cosa no acaba aquí: ¿Por qué se le ocurrió a Turing la idea? Evidentemente, porque tenía unos conocimientos generales muy amplios de matemáticas y de encriptación; suficientes para que, en un momento dado, la idea feliz pudiera surgir como de la nada.

¿Qué ocurriría si en un futuro nadie adquiriese una especialización porque la inteligencia artificial ha convertido la adquisición de conocimientos en un lujo inútil? ¿Podríamos encontrarnos en una situación similar a la de El planeta de los simios donde los protagonistas se ven sorprendidos de que los simios estén utilizando tecnología pero no vean avances? ¿Podría llegar un momento en que la inteligencia artificial no viera sentido en mantener a unos miles de millones de personas ociosas? ¿Habría que poner en marcha las famosas “leyes de la robótica” de Asimov para garantizar que la inteligencia artificial no decida un buen día que le sobran los humanos?

No lo sabemos; cuando aparece algo radicalmente nuevo pueden generarse expectativas fantasiosas; así, en el pasado se prohibió adaptar los rayos X a los anteojos de teatro porque nadie sabía que no era posible pero, al mismo tiempo, pueden producirse situaciones que no se habían anticipado, como ha ocurrido con el avance de la tecnología de la información y como, previsiblemente, ocurrirá con la inteligencia artificial. En ningún caso debe olvidarse que la velocidad de evolución en este ámbito hace que el futuro, incluso el más imprevisible, esté ahí mismo.

Ironies of Automation

IRONIES OF AUTOMATION

No; el título no es mío. Fue utilizado por Lisanne Bainbridge en un artículo escrito en 1983 y que, a pesar -o a causa de- todos los avances tecnológicos, continúa plenamente vigente. El título es, por ello, un homenaje a una pionera en un área clave del rendimiento humano: La relación de las personas con la automatización.

La automatización está presente en nuestras vidas porque mejora la eficiencia en distintas actividades, pero esa mejora puede producirse de tres formas distintas:

  1. Con los mismos recursos se puede conseguir un mayor volumen de resultados.
  2. Los mismos resultados pueden conseguirse con un menor volumen de recursos.
  3. Ambas.

En los tres casos, queda una pregunta abierta: ¿Qué ocurre cuando el sistema falla y se presenta una situación degradada?

En muchas situaciones, la respuesta es sencilla: Siempre que no ocurra con más frecuencia de la deseable, no ocurre nada importante. Sin embargo, hay situaciones donde las apuestas son importantes y un fallo puede tener consecuencias catastróficas. Son ésos los casos en los que debemos analizar críticamente el impacto de la automatización.

Dos entornos en que las situaciones son potencialmente catastróficas son las operaciones en aviación y las centrales nucleares, pero las segundas tienen una clara ventaja sobre las primeras:

Buena parte de los procesos automáticos está dirigida a producir una parada en caso de que se presente una situación anómala. Una vez detenido el reactor, los operadores disponen de tiempo para analizar la situación e incluso consultar a terceras personas sobre la solución a adoptar…si un piloto o un controlador pudieran congelar el tiempo en una situación crítica, se encontrarían en un escenario parecido al que se produce en una central nuclear. Sin embargo, no es así.

La característica más notoria de las operaciones en aviación es que funciona con organizaciones rotas; la cadena jerárquica de la organización queda rota en el momento en que un piloto se hace cargo de un avión y la ayuda que puede esperar del exterior es forzosamente limitada. Cualquier decisión a tomar en el curso de una situación crítica cae sobre sus hombros y es aquí donde entra la automatización con sus luces y sus sombras.

La primera ironía que nos presenta la automatización es la presencia de interfaces más sencillos que controlan sistemas más complejos. La eficiencia es visible en muchos ámbitos: Hace mucho tiempo que desapareció el mecánico de vuelo de las cabinas y mucho más aún que desaparecieron figuras como el navegante o el radio. Los automatismos han permitido también aumentar la precisión lo suficiente para reducir la distancia vertical de los aviones en vuelo; han permitido realizar aterrizajes sin visibilidad; han permitido meter más aviones en un espacio aéreo; han permitido poner menos motores en los aviones gracias a un seguimiento automático de parámetros que disminuyen la posibilidad de un fallo…y podríamos continuar.

Sin embargo, uno de los casos donde se pudo apreciar con claridad que algo se estaba escapando se produjo en el área de mantenimiento. El informe de un incidente, ocurrido 10 años después de la publicación del original Ironies of Automation contenía esta reveladora frase:

Fuente: https://www.gov.uk/aaib-reports/2-1995-airbus-a320-212-g-kmam-26-august-1993

“It is no longer possible”…¿Significa esto que el nivel de conocimiento se reduce a la ejecución de procedimientos? ¿Es ese nivel de conocimientos suficiente cuando se presenta una situación degradada?

Accidentes muy posteriores, como el ocurrido al AF447, donde un avión con sus dos motores en perfecto funcionamiento cayó en el Atlántico desde 10.000 metros más arriba o casos como los ocurridos con los B737MAX, donde un sistema inadecuadamente diseñado corregía las órdenes de los pilotos sin que éstos supieran siquiera que tal sistema existía, invitan a un análisis crítico del desarrollo de la automatización.

Las ganancias en eficiencia no pueden producirse a costa de pérdidas en conciencia situacional. Mica Endsley describió perfectamente cómo funcionaba el proceso de conciencia situacional mediante este conocido esquema:

Fuente: https://www.researchgate.net/figure/Endsleys-model-of-situational-awareness_fig3_269112517

El esquema lleva implícita una variable que, para analizar el impacto de la automatización, tiene gran importancia: La variable tiempo. La conciencia situacional no puede funcionar como una fotografía sino como un vídeo, es decir, para que sea efectiva, necesita continuidad. La información entregada por el sistema tiene que posibilitar lo que podríamos denominar “continuous situation awareness” y no limitarse a informar de situaciones anormales.

El desarrollo de un evento permite disponer de claves para su solución y son muchos los casos en que una automatización inadecuada ha informado al operador en el momento en que su intervención era requerida, no antes. Modelos como el llamado dark cockpit pueden conducir a este efecto si no son adecuadamente diseñados.

Los sistemas automáticos son capaces de actuar en formas que son completamente inaccesibles al operador humano y, desde ese punto de vista, podría decirse que la “singularidad”, proclamada por autores como Ray Kurzweil, ya está funcionando aunque no tenga el carácter general anunciado, sino que se limite a algunos terrenos.  Así, una mano humana no tiene la capacidad para volar en espacio RVSM con la precisión requerida ni tampoco tiene la capacidad para ejecutar un aterrizaje sin visibilidad. Éstos son hechos y, como tales, no son discutibles pero…sí es exigible disponer de información sobre cómo está funcionando el sistema -incluso cuando todo parece estar funcionando bien- y, sobre todo, las situaciones degradadas tienen que ser fácilmente reconocibles y tener una respuesta clara para las mismas.

Bienvenida sea la automatización y, en general, la evolución tecnológica pero manténgase un ojo crítico frente a desarrollos que podrían anular al humano como alternativa cuando se presenta un evento importante.

INTELIGENCIA ARTIFICIAL: LA INSISTENCIA EN NO VER EL ELEFANTE EN LA HABITACIÓN

En este momento, raro es el día en que no sale una nueva inteligencia artificial que nos promete distintos tipos de maravillas. Bien; digamos que durante el llamado “invierno” de la inteligencia artificial, se han ignorado los progresos que se estaban haciendo mientras que, ahora, nos encontramos en la situación opuesta: Disponibilidad para maravillarnos ante cualquier cosa que pueda aparecer.

Quizás convendría hacer una pausa y preguntarse en qué momento estamos respecto a la llamada “singularidad”, es decir, el momento en que un ordenador será capaz de superar a una persona en cualquier tipo de reto imaginable donde la inteligencia tenga un papel.

En esa pausa, es forzoso reconocer que la inteligencia artificial y la inteligencia humana funcionan de modo radicalmente distinto. Una vez que esto se entienda con claridad, se podrá entender otra cosa:

Hay terrenos en los que la “singularidad” ha llegado hace tiempo; hay otros en los que cabe esperar que llegue en un tiempo relativamente breve y hay otros en los que nunca llegará y es en estos últimos donde reside nuestro ignorado “elefante”.

Si decimos que un ordenador es capaz de manejar enormes bases de datos y hacerlo en muy poco tiempo, estaremos enunciado un hecho cierto pero, al mismo tiempo, estaremos ignorando otro: Cuando un cambio cuantitativo se produce en varios órdenes de magnitud, deja de ser cuantitativo para ser cualitativo.

Permítaseme utilizar un ejemplo de hace pocos días y que resulta bastante revelador sobre las diferencias de funcionamiento:

Al preguntarle a una de las múltiples inteligencias artificiales de acceso público -LuzIA en este caso- si Tina Turner estaba viva en 1980, su respuesta fue Sí. Tina Turner estaba viva en 1980. En ese año, lanzó su quinto álbum de estudio en solitario, “Private Dancer”, que fue un gran éxito y contribuyó a su éxito en la década de 1980.

Nótese que la pregunta era simplemente si estaba viva y la respuesta incluyó unos datos que no había solicitado pero que, al mismo tiempo, fueron bastante reveladores sobre su funcionamiento.

Naturalmente, si le hacemos esta pregunta a un humano, antes de responder, habría recordado que Tina Turner había fallecido muy recientemente con una edad en el entorno de los noventa años y, por tanto, en 1980 estaba viva.

La inteligencia artificial, al menos en ese momento, no tenía almacenado el hecho de que una persona está viva entre las fechas de su nacimiento y su muerte y, al hacer una pregunta sobre una fecha específica, busca en su enorme base de datos alguna actividad de esa persona en esa fecha y, al encontrarla, concluye que está viva y, en este caso, añade además la información que le ha servido para concluir que está viva.

Al encontrar que la inteligencia artificial podía llegar a la misma conclusión -correcta- a través de un camino totalmente distinto a la inteligencia humana, probé a tenderle una pequeña trampa: Al parecer, si ejerce alguna actividad, está viva. Veámoslo. Siguiente pregunta:

Si decimos que Tina Turner lleva varias semanas criando malvas ¿podemos afirmar que Tina Turner está viva?

La respuesta no se hizo esperar:

Por supuesto. Si está criando malvas, significa que está viva.

No se trata en este caso de enfatizar el error sino, muy al contrario, de mostrar cómo, a través de procesos completamente distintos, la inteligencia artificial puede llegar a conclusiones que en la mayoría de los casos son correctas.

En ese manejo de ingentes cantidades de datos, no sólo puede llegar a conclusiones similares a las humanas sino que puede cruzar los datos de forma que alcancen conclusiones no alcanzables por ningún ser humano. Son muchos los ámbitos en que se puede producir esta situación, no sólo juegos como el ajedrez o el Go, y por ello sería justo decir que hay terrenos en que la singularidad ya se ha producido. No debe perderse de vista, sin embargo, que, gracias a esos distintos métodos, de vez en cuando la inteligencia artificial producirá respuestas extrañas o simplemente se bloqueará.

Hay otros casos en que no se ha llegado al nivel humano; aquellos casos en que el manejo de bases de datos va multiplicando las opciones en forma exponencial y, por tanto, ni siquiera los ordenadores más potentes son capaces de manejar el número de opciones resultante.

Por ejemplo, el sistema AlphaZero fue entrenado para distintos juegos que, para cada movimiento, abría tal cantidad de opciones que hacía imposible procesarlas todas. Sus programadores resolvieron el problema mediante el llamado método Monte Carlo que permitía asignar probabilidades a las distintas opciones. No obstante, pueden encontrarse situaciones que no permitan ese atajo.

Otro caso difícil se encuentra cuando a un sistema se le solicita que imite a un cerebro humano pero no se pide que lo haga en sus aspectos más perfectos sino en lo que podrían denominarse “imperfecciones funcionales”. Llamamos imperfecciones funcionales a aquellas situaciones en las que, siendo la percepción incorrecta, el cerebro se encarga de corregirla. Ejemplos:

  • ¿Cómo es posible que, si nos tapamos un ojo, vemos cierta desviación pero seguimos viendo en relieve cuando hemos perdido la visión estereoscópica? El cerebro.
  • ¿Cómo es posible que, cuando tratamos de demostrar la existencia del punto ciego mediante los ejercicios al efecto, visualizando un objeto o una imagen, desaparece de nuestra visión el objeto frente al punto ciego pero su lugar aparece ocupado por el fondo en lugar de aparecer vacío? El cerebro.
  • ¿Cómo es posible que un piloto, cuando va a despegar, no se asuste al percibir que está entre dos líneas convergentes a los extremos de la pista y que, por tanto, debe despegar antes de llegar a la intersección de tales líneas? El cerebro es quien le informa de que las líneas son, en realidad, paralelas y la pista no se va a ir estrechando.

No hablemos ya de otros casos como la imagen invertida en la retina. Las imperfecciones funcionales son muy difíciles de imitar porque estamos tan habituados a ellas que nos resulta muy difícil convertirlas en conscientes e incluirlas en el proceso perceptivo de un sistema pero, aún así, no podemos descartar que se avance por ese camino lo suficiente para superar ese escollo.

Llegamos, por fin, a nuestro elefante en la habitación: La conciencia. La mayor parte de los investigadores en inteligencia artificial han optado por ignorarla, no por negar su existencia, lo que sería claramente absurdo, sino por entender que no aportaba nada a la solución de problemas.

Las explicaciones sobre su origen son oscuras o simplistas e incluso autores como Steven Pinker, que estira hasta el máximo posible las posibilidades de la teoría de la evolución, acaba afirmando que, en su faceta principal, se trata de un misterio.

Dejémoslo ahí. ¿Tiene ese misterio alguna relación con la resolución de problemas? ¿Hay problemas que una inteligencia artificial no puede resolver por carecer de conciencia? La respuesta es que sí.

Jeff Hawkins, autor a medio camino entre la inteligencia artificial y la neurología, se asombraba de que, incluso en las áreas de proyección en el cerebro -áreas que se supone que simplemente recogerían una fotografía fiel de lo que ocurre en el exterior- había muchas más fibras procedentes de otras partes del cerebro que del órgano del que supuestamente recibían los datos.

Es cierto que cualquier sistema puede tener sensores relativos a estados internos, incluso sin necesidad de que exista una inteligencia artificial: Un termostato, por ejemplo, puede referirse tanto a una temperatura externa como a una temperatura interna del sistema pero la conciencia con sus implicaciones representa algo cualitativamente diferente:

Son numerosos los casos en que la conciencia repentina de un hecho es la que dispara un proceso de resolución de problemas. Una de las mejores escenas de la película “Una mente maravillosa” se produce cuando Nash se da cuenta de que la niña no crece y, por tanto, es una alucinación. Algo parecido se produce cuando Alan Turing, el padre de la inteligencia artificial, advierte que los mensajes de Enigma probablemente estarán originalmente escritos en alemán y, si en un caso específico, llega a saber de qué están hablando, podría tener elementos que le ayudarían a desencriptar la clave.

Los dos casos mostrados son muy conocidos pero nuestra vida diaria está llena de ellos: Sin ningún cambio exterior visible, es la conciencia interna quien pone en marcha el proceso de resolución de problemas. Sin temor a exagerar, podría decirse que gran parte de los descubrimientos científicos nacen en ese proceso.

No puede ni debe minusvalorarse el impacto que puede tener en el futuro el desarrollo de la inteligencia artificial; sus posibilidades son realmente importantes y la “singularidad”, entendida como fenómeno parcial, hace mucho que ha llegado en bastantes terrenos. En otros, parece imposible que pueda llegar en ningún momento y el fenómeno responsable de ello es un elefante en la habitación que se han empeñado en negar. Quizás, para evitar llegar a un punto muerto en el futuro, debería comenzarse por darle carta de naturaleza y admitir su relevancia en la resolución de algunos problemas.

Inteligencia Artificial y eventos «Zero Day»

USO DE LA INTELIGENCIA ARTIFICIAL EN AVIACIÓN

Con la llegada de una nueva generación de asistentes digitales, como ChatGPT o Bard, la inteligencia artificial ha adquirido una popularidad que antes no tenía; su uso, ya generalizado, ha deslumbrado a algunos e incluso ya se habla del siguiente paso –AGIArtificial General Intelligence- como una evolución capaz de aprender autónomamente y sobre cualquier cosa.

El punto de inflexión o, si se prefiere, la salida del llamado invierno de la inteligencia artificial, que abarcaría la década de los 80 y gran parte de los 90, no aparece ni con Deep Blue, la máquina que derrotó a Kasparov en 1998, ni con el reciente ChatGPT; aparece con Alpha Zero, sucesor del AlphaGo que derrotaría al campeón mundial de Go, y con fuertes diferencias sobre su antecesor:

La diferencia fundamental está en que a AlphaGo, además de las reglas del juego, se le dio una enorme cantidad de información sobre situaciones y partidas jugadas por humanos; por el contrario, a Alpha Zero se le dieron las reglas, una instrucción específica de conseguir la victoria en el juego y un algoritmo de aprendizaje. Con estos recursos, Alpha Zero empezaría a jugar contra sí mismo y a generar un número de situaciones posibles inaccesible a un aprendizaje humano. ¿El resultado? El aprendiz Alpha Zero derrotó consistentemente al experto AlphaGo; el proceso se repitió con distintos juegos y el resultado siempre fue el mismo: Puede decirse que en ese momento nacía una nueva etapa para la inteligencia artificial.

A menudo se ha tratado de extrapolar este resultado a otros ámbitos, como ocurrió con Watson, sistema capaz de vencer a humanos en el concurso Jeopardize sobre conocimiento general, y que fracasó estrepitosamente cuando se creyó que su “conocimiento general” podía servir para aplicarlo a tareas como el diagnóstico médico. Aplicaciones como el ajedrez o el Go representan el terreno ideal para el uso de la inteligencia artificial: Reglas invariables, entornos cerrados y una cantidad de combinaciones virtualmente infinita. Pocas dudas caben sobre su utilidad en este tipo de entornos y su capacidad para superar ampliamente a la inteligencia humana.

Sin embargo, las cosas cambian mucho cuando se intenta aplicar la inteligencia artificial a entornos abiertos en los que un error puede tener consecuencias de una magnitud importante. Esta eventualidad se agrava cuando no es posible seguir la lógica de un sistema que es totalmente opaco a su usuario y que, ocasionalmente, puede actuar de formas que no son subóptimas sino abiertamente absurdas.

As Marcus and Davis[1] say, “A neural network that learns a particular task might score, say, 95 percent correct on some test. But then what? It’s often very difficult to figure out why the network is making mistakes on the other 5 percent, even when some of those mistakes are dramatic errors that no human would ever make, like the confusión…between a refrigerator and a parking sign. And if those mistakes matter and we can’t understand why the system is making them, we have a problem”.

Efectivamente, tenemos un problema. Cuando el sistema da una respuesta absurda, no sólo es inútil o peligrosa sino que no se sabe cómo ha llegado a ella ni, probablemente, es capaz de dar alternativas viables debido a un aspecto al que no se le suele prestar atención y que, sin embargo, es la clave que puede aconsejar mucha precaución en su uso en entornos críticos como la aviación:

La inteligencia artificial tiene una estricta separación entre aprendizaje y ejecución.

Dicho de otra forma, mientras está aprendiendo, está modificando sus algoritmos y acumulando situaciones previstas y, mientras está trabajando, no está mejorando los algoritmos sino que, en todo caso, está guardándose situaciones para utilizarlas en un futuro proceso de aprendizaje que dará lugar a una nueva versión mejorada.

En aviación, la inteligencia artificial cuenta con una oposición importante en distintas actividades en las que un error puede tener graves consecuencias, como es el caso de los pilotos o los controladores. Sin embargo, llama la atención que haya un desconocimiento generalizado del hecho de que la inteligencia artificial YA está ahí desde hace tiempo.

Por ejemplo, se dice que un Boeing 787 lleva unos 10 millones de líneas de código. ¿Alguien cree que esas líneas de código han sido desarrolladas por un ejército de programadores funcionando al estilo Crimson Permanent Assurance? No es así.

La mayor parte del código ha sido desarrollada por algoritmos de aprendizaje a los que se ha dotado de objetivos, han generado las líneas de código correspondientes y, una vez comprobado su funcionamiento, se han cargado al avión. La mejora de las distintas versiones proviene de añadir toda la experiencia operativa de los aviones en vuelo, generar nuevas soluciones, corregir fallos…y generar una nueva versión que se carga en esos mismos aviones.

¿Se ha perdido algo por el camino? Seguro que sí: La característica señalada por la que el sistema que aprende no ejecuta y el que ejecuta no aprende. Ésa es precisamente una de las características más típicas de la inteligencia artificial: Un sistema diseñado para aprender produce unas soluciones que se encargan de la ejecución; la ejecución realimenta el sistema que aprende que, a su vez, produce una nueva solución y el ciclo se repite indefinidamente.

Como ejemplo, el ya archiconocido Chat-GPT se apoya sobre una base de datos cerrada en 2021; todo lo que esté después de esa fecha simplemente no existe. Es de esperar que en algún momento se actualice y se ampliará el ámbito de soluciones, pero seguirá habiendo una separación entre aprendizaje y ejecución. El modelo de inteligencia artificial de Google, Bard, tiene acceso a Internet pero ello no garantiza que no exista la separación entre aprendizaje y ejecución ni que los criterios de selección de fuentes no estén mediatizados por intereses en el ámbito de la publicidad u otros.

¿Qué importancia tiene la separación entre aprendizaje y ejecución? Muy sencillo; la versión operativa del sistema no se diferencia de un sistema complejo basado en algoritmos y automatización. No es “inteligente” en el sentido de que la capacidad de aprendizaje está en otro sitio y, si la situación que afrontamos es nueva y no ha sido prevista en el proceso de aprendizaje -algo nada extraño en entornos muy dinámicos- el sistema será incapaz de proporcionar una respuesta; hará peticiones imposibles de recursos o entrará en un bucle sin posibilidad de dar una respuesta.

¿Cuál es la razón para este funcionamiento? El sistema capaz de aprender es la parte “pesada” de la inteligencia artificial en términos de requerimientos de capacidad de procesamiento y de acceso a información. No cabe pensar, por ejemplo, que tal sistema vaya embarcado en un avión; sin embargo, el producto resultante del aprendizaje es un sistema con un catálogo de soluciones muy superior al que tiene un piloto humano como consecuencia de su entrenamiento y éste sí puede ir embarcado. Eso sí, esta división hace que el sistema no tenga respuesta a un evento que no haya sido recogido en el proceso de aprendizaje y no tiene la posibilidad de lanzar tal proceso ante una situación desconocida.

Por su parte, el piloto humano no tiene esa separación entre aprendizaje y ejecución; su “catálogo” de situaciones previstas es mucho más escaso pero, ante una situación desconocida, puede recurrir a procesos de simulación mental y de experimentación que conduzcan a resolver un problema, aunque éste sea nuevo. El piloto humano puede resolver una situación para la que, en el momento de iniciar el vuelo, no conocía la solución.

Hay muchos casos que demuestran que este mecanismo aprendizaje/ejecución no es una mera hipótesis, sino que ha sido utilizado en eventos para los que el piloto, en el momento de afrontarlos, no conocía la solución. Casos como AA96, U232, US1549, QF32, AC143 y tantos otros han mostrado que la conjunción entre ejecución y aprendizaje en el humano permite salvar situaciones consideradas insalvables puesto que eran desconocidas en el momento de producirse. Esta opción, hoy, no está al alcance de la inteligencia artificial.

Los fabricantes, con frecuencia, se han orientado hacia una solución aparentemente viable: Tratar al piloto como un recurso de emergencia para las situaciones no previstas que, como tales, no pueden ser afrontadas por el sistema.

Stuart Russell[2] , co-autor del libro que podríamos considerer la Biblia de la inteligencia artificial[3], señaló que “handing control to the human when the vehicle is confused or out of its safe operating conditions simply doesn’t work. When the car is driving itself , humans quickly become disengaged from the immediate driving circumstances and cannot regain context quickly enough to take over safely”. Si bien Russell estaba hablando de automóviles, la cita es perfectamente aplicable al ámbito de la aviación; al piloto arrinconado por el sistema le faltarán claves para entender qué está ocurriendo y resolverlo si, previamente, ha sido expulsado de la participación en la operación o ésta se ha limitado a la ejecución de procedimientos elementales.

Buena parte de las claves para la solución de un evento anómalo pueden encontrarse en su desarrollo, es decir, qué cosas han ido pasando y en qué orden. Si el piloto se encuentra ausente de ese desarrollo, ausencia que es incluso promovida por tendencias de diseño como el dark cockpit, no puede esperarse que, una vez se presenta el evento inesperado, el piloto pueda afrontarlo con garantías de éxito. Por añadidura, si no es capaz de proponer y ejecutar una solución adecuada en unas condiciones que distan mucho de ser óptimas, cabe esperar que se utilice el conocido sello de “error humano”. Recuérdese en este sentido que casos como los B737MAX, AF447 o XL888T fueron inmediatamente atribuidos a este factor, ignorando, hasta que fue inevitable afrontarlos, los elementos de diseño que había debajo de ese error, real en unos casos y supuesto en otros.

Además de esa limitada capacidad para atender un evento en cuyo desarrollo no se ha estado presente, una solución que prime el elemento tecnológico sobre el humano está eliminando escalones necesarios para el aprendizaje. La experiencia resultante quedaría empobrecida y encontramos, corregida y aumentada, una situación como la actual en la que se anima a los pilotos a mantener la habilidad manual mientras se limitan progresivamente los momentos en que ésta puede ejercitarse.

La evolución tecnológica, incluido el uso de la inteligencia artificial, puede ayudar pero es conveniente ser muy conscientes tanto de sus limitaciones como de las necesidades del piloto humano si, realmente, se pretende que mantenga el control en situaciones normales y anormales. La vieja idea de utilizar al piloto como un fusible del sistema que, a costa de quemarse, impide el daño al sistema nunca ha servido ni desde el punto de vista funcional ni desde el ético. Ahora tampoco.


[1] Marcus, G. and Davis, E., 2019. Rebooting AI: Building artificial intelligence we can trust. Vintage.

[2] Russell, S., 2019. Human compatible: Artificial intelligence and the problem of control. Penguin.

[3] Russell, P.N., 2010. Artificial intelligence: a modern approach by stuart. Russell and Peter Norvig contributing writers, Ernest Davis…[et al.].

Una lección básica de seguridad en aviación: Los no-eventos son eventos.

Hace poco tiempo, publicaba un análisis sobre la conveniencia o no de tener un solo piloto en la fase de crucero. Incidentalmente, utilicé como ejemplo el caso AF447, donde el comandante se encontraba fuera de la cabina cuando se iniciaron los problemas y, aunque los diagnosticó correctamente, no tuvo tiempo suficiente para resolverlos.

Alguien, en tono amistoso, me criticó la selección del ejemplo puesto que, en ese caso, no se trataba precisamente de una tripulación con un único piloto sino, muy al contrario, una tripulación reforzada y, por tanto, el argumento podía no ser válido.

La crítica tiene fundamento, especialmente si consideramos que, en caso de haber habido un único piloto y ser precisamente el que percibió con claridad la situación, tal vez el accidente no se habría producido.

Es posible, pero no hay ninguna garantía de que ése hubiera sido el resultado: Una tripulación compuesta por dos pilotos expertos puede encontrarse en una situación de resolución de problemas; las ideas de uno realimentan las del otro y, tal vez, de ese proceso podría nacer alguna solución que a ninguno de ellos se le habría ocurrido de forma individual. Al fin y al cabo, en este proceso y en cómo manejarlo de la mejor forma posible se fundamenta toda la práctica de CRM.

Podemos dar razones que hacen no aconsejable dejar sólo a un piloto en la cabina con el hipotético soporte de un sistema de información más avanzado que los actuales; una de ellas, fundamental y claramente perceptible, es la aparición de un evento de rápido desarrollo que pueda requerir la contribución de, como mínimo, dos personas pero…no hay datos. ¿Por qué no hay datos?

Aquí es donde tendríamos que entrar en el hecho de que un no-evento es un evento: Un accidente es un evento dramático y de alta visibilidad. Una situación que de lugar a un incidente grave puede lograr visibilidad a través de los sistemas de reporte -si es reportada- pero ¿cuántas situaciones no llegan a ser reportadas porque, simplemente, los pilotos perciben una anomalía y, al buscar su origen, encuentran un problema con capacidad para generar un problema serio?

Ahí están los no-eventos; al no ser visibles no entran en el proceso de toma de decisiones y, simplemente, son ignorados. Quizás se debería hacer el esfuerzo de darles visibilidad a los no-eventos para conseguir que sean tenidos en cuenta.

Hay sistemas de reporte excelentes como, por ejemplo, el ASRS pero, por su propia naturaleza, no están enfocados a la toma de decisiones regulatorias como admitir o no la posibilidad de que un avión a altitud de crucero tenga sólo un piloto en cabina.

Proyectos como el eMCO de EASA están enfocados a la realización de distintos análisis que permitan una conclusión final sobre la conveniencia o no de esta práctica pero, por mucha sabiduría académica que se les quiera poner a estos proyectos, les seguirán faltando datos y, sin embargo, estos datos serían muy fáciles de obtener. Bastaría con un esfuerzo por parte de los profesionalmente implicados en el asunto:

La aviación se ha distinguido por tener un conjunto de medios de información y gestión específicos para casi cualquier cosa imaginable: FDM, OBM, LOFT, LOSA, sistemas de reporte, seguimiento individualizado de elementos críticos del avión, reconocimientos médicos, grupos de soporte psicológico…

Sin embargo, en toda esa masa de información todavía falta algo que sería crítico para aceptar o rechazar una decisión tan importante como la de tener un único piloto en crucero:

Una base de datos de no-eventos, es decir, detección de señales débiles o no-señales en las que el disparador de un proceso de solución de problemas es, precisamente, que no hay disparador y, sin embargo, pueden tener el potencial de un rápido desarrollo hacia una situación crítica, evitada mediante la colaboración entre los dos pilotos en cabina.

No se trata de “jugar a la contra” sino de asegurarse de que datos muy relevantes son tenidos en cuenta en el momento de tomar una decisión final. Sin embargo, para esto, se necesitarían varias cosas:

  1. La más obvia: Recoger información sobre casos con ese perfil: Señales débiles o no-señales con potencial para derivar a situaciones críticas y que requieran la intervención de los dos pilotos.
  2. Evaluación de los reportes recibidos, estableciendo si cumplen las condiciones requeridas y si son susceptibles de ser atendidos con soporte tecnológico.
  3. Utilización de los datos en la discusión correspondiente con los reguladores.

Un último apartado es la necesidad de requerir que no haya trampas desde el lado tecnológico. “Trampas” en este caso significaría utilizar los sucesos reportados para añadirlos uno a uno al sistema que, supuestamente, serviría de soporte al piloto único.

Podríamos plantearnos si eso es realmente una trampa o, simplemente, es una forma de aprendizaje tecnológico perfectamente legítima; en tal caso, la respuesta sería simple y clara: Es una trampa. ¿Por qué?

Simplemente, se trata de situaciones poco comunes y no previstas; a medida que se van reportando, se pueden ir introduciendo en un sistema como “previstas” pero seguirá habiendo muchas más que puedan aparecer y que no estarán presentes entre las previstas.

El piloto humano -cualquier humano- tiene como característica propia la capacidad para detectar un entorno completo y, al hacerlo, una señal débil o una ausencia de señal le permitirá entrar en un proceso de solución de problemas. Un sistema, por avanzado que sea, no tiene esa capacidad y se limita a las situaciones previstas: Alimentarlo con los resultados de un sistema de reporte encaminado a evaluar la conveniencia o no de tener un solo piloto en crucero contribuye a disimular pero no a eliminar un simple hecho: La tecnología puede ejecutar pero carece de sentido común y de respuesta situaciones no previstas.

Un sistema, por avanzado que sea, no tiene esa capacidad y se limita a situaciones previstas: alimentarlo con los resultados de un sistema de informes destinado a evaluar la conveniencia de contar con un solo piloto a nivel de crucero contribuye a disimular pero no a eliminar un hecho simple:

La tecnología puede realizar tareas -algunas de ellas con más precisión que los humanos y sin fatiga- pero sigue careciendo de sentido común y de la posibilidad de responder a situaciones imprevistas. Los humanos, en cambio, pueden resolver situaciones que no estaban en su «base de datos» personal.


Estos hechos deberían bastar para ser extremadamente cuidadosos a la hora de decidir los lugares en los que la tecnología tendrá un papel importante.

¿Es suficiente un piloto a altitud de crucero?

Permítaseme comenzar con un apartado autobiográfico: Antes de entrar de lleno al área de factores humanos, allá para los inicios de los 2000, me dedicaba al área de recursos humanos y, entre otras cosas, tenía que encargarme de análisis, planificación y adecuación de plantillas.

Un estándar muy común en planificación de plantillas es el 80%, es decir, considerar que, si el 80% de la jornada de trabajo se están realizando tareas propias del puesto, la plantilla estará bien dimensionada. Es un estándar que tiene numerosas excepciones; una de ellas vinculada con la irregularidad en el flujo de tareas. ¿Podríamos pensar en una plantilla de bomberos definida de modo que el 80% de su tiempo esté apagando incendios? ¿Y una plantilla de policías definida de modo que el 80% de su tiempo esté deteniendo delincuentes? Evidentemente, tales plantillas estarían infradotadas puesto que no tendrían capacidad para atender a un pico de trabajo.

¿Y los pilotos? Resulta curioso que la sugerencia de tener sólo un piloto a altitud de crucero aparezca precisamente en un momento en que se intenta tratar al piloto como un recurso de emergencia, dejando en la medida de lo posible, el vuelo en manos de la tecnología.

Sigamos, pues, la lógica de tratar el puesto de trabajo del piloto como un puesto cuya justificación, en buena parte, durante la fase de crucero está en la atención a posibles emergencias: Su carga de trabajo es muy alta cuando se encuentran en tierra o en las proximidades de tierra mientras que, en crucero, esta carga de trabajo normalmente disminuye mucho, pero…subrayemos el “normalmente”. Una búsqueda de eventos críticos en crucero en la base de datos de la ASRS nos devuelve 5.553 situaciones de crisis, como muestra la figura al inicio.

 Añadamos que un evento grave en aviación puede desarrollarse en un tiempo extremadamente corto y su gestión puede requerir la atención plena de, como mínimo, dos personas.

Distintos eventos han demostrado que dos personas representan un mínimo absoluto que, en algunos casos, puede verse sobrepasado. Pensemos en casos como el Swissair 111, donde un incendio a bordo obligó a preparar un desvío a un aeropuerto cercano y desconocido, búsqueda de frecuencias de radio y rutas de aproximación, arrojar combustible para disminuir el peso del avión y, además, ver si había alguna forma de extinguir el incendio. No la hubo. ¿Habrían sido distintas las cosas con una persona más? Imposible saberlo.

Otros casos más afortunados como el AC143, el QF32 o el U232 nos dicen que, en una fase del vuelo en que la carga de trabajo suele ser baja, pueden presentarse situaciones que necesiten más de dos manos cualificadas para atenderlas, es decir, idéntica situación a la de los policías, los bomberos o cualquier otra profesión que, por su naturaleza, atienda a situaciones de emergencia.

Los promotores de la idea de piloto único en fase de crucero la justifican en la carencia de pilotos y tranquilizan al público hablando de un soporte tecnológico avanzado para ese único piloto. ¿Puede utilizarse la lógica de la carencia para reducir de uno a ninguno el número de pilotos a bordo?.

En cuanto al soporte tecnológico, éste cuenta con una interesante peculiaridad que se refleja en un viejo chiste: Hay quien define a un banquero como un señor que nos presta un paraguas y, cuando empieza a llover, nos pide que se lo devolvamos. De igual manera, la tecnología suele facilitar las tareas cuando, ya en origen, son fáciles y puede convertirse en un problema añadido cuando la situación es difícil y no permite realizar acciones que serían necesarias o tiene comportamientos anómalos.

La popularización de la inteligencia artificial es sólo una vuelta de tuerca más a una situación en la que ya se producían estos efectos. Con o sin inteligencia artificial, aunque más cuando ésta está presente, los sistemas pueden tener conductas extrañas derivadas de su programación y, cuando éstas aparecen, en lugar de facilitar las tareas al piloto humano, le añaden una nueva que no es precisamente menor.

-Cuando una alarma deja de sonar cuando el avión está a una velocidad tan baja que el sistema interpreta que el avión está en tierra, está añadiendo confusión.

-Cuando interpreta una pasada como un aterrizaje y corta la potencia, está añadiendo confusión.

-Cuando, muy próximo al suelo, el sistema reacciona a un aviso de pérdida y fuerza hacia abajo el morro del avión, está provocando un accidente.

-Cuando interpreta una aproximación como un sobrevuelo de un aeropuerto y borra todos los datos de la aproximación programada, está añadiendo carga de trabajo.

-Cuando las características orográficas de un aeropuerto obligan a que los pilotos tengan que “engañar” al sistema para hacer factible el aterrizaje en una pista corta, éste puede producir reacciones no previstas…

No puede olvidarse que los sistemas de información carecen de sentido común y dejar a un único piloto en sus manos como alternativa a una discusión entre expertos de una situación desconocida y a la gestión subsiguiente de esa situación, no es algo que tranquilice o represente una garantía de seguridad.

Se puede argumentar que hay otro piloto dentro del avión y que, bajo este modelo, lo único que se hace es evitar llevar tripulaciones de refuerzo. Sea, pero en ese caso, permítaseme recordar un evento: AF447: El comandante se encontraba fuera de la cabina y, cuando regresó, se encontró una situación tan inmanejable que, incluso cuando fue capaz de diagnosticar correctamente qué era lo que estaba pasando, ya fue demasiado tarde para recuperar el avión: Un suceso que no debería haber llegado demasiado lejos -la congelación de un sensor- provocó reacciones anómalas en el sistema y éstas confundieron por completo a los pilotos que se encontraban en la cabina; cuando alguien con más experiencia entró en ella, su mayor conocimiento no fue acompañado de la disponibilidad del tiempo que habría sido necesario para resolver el problema.  

El último tema es el más obvio: ¿Qué ocurre en caso de incapacitación? ¿Van a utilizar prácticas como el “pedal de hombre muerto” de los ferrocarriles? No funcionó en el caso de Waterfall en Australia y podría no funcionar en un avión donde un evento puede alcanzar rápidamente el nivel que lo convierta en no manejable. Por otro lado ¿cómo se compagina la idea de piloto único a la altitud de crucero con la de que el piloto no se quede solo en la cabina, puesta en marcha tras el caso GermanWings 9525? ¿Tiene que ir acompañado por un tripulante de cabina? ¿No tiene más sentido que sea acompañado por alguien que, ante una emergencia, pueda contribuir a evaluarla y resolverla cuando, si es grave, va a requerir el concurso de ambos?

La inteligencia artificial y el error de Kasparov

Hay quien sitúa el renacimiento de la inteligencia artificial en 1998, cuando una máquina llamada Deep Blue fue capaz de derrotar al campeón mundial de ajedrez, Kasparov.

No es cierto; Deep Blue puede calificarse de humano incompleto o, si se prefiere, de idiot savant, es decir, alguien que es capaz de procesar en muy poco tiempo una gran cantidad de información que le han suministrado sobre partidas de ajedrez y sus resultados. Dicho de otro modo, el aprendizaje de Deep Blue es demasiado humano para poder catalogarse seriamente como inteligencia artificial.

Unos años después apareció Alpha Zero con un planteamiento completamente distinto: Se le daban las reglas del juego e instrucciones de ganar y, a partir de ahí, entraba en un proceso de aprendizaje jugando contra sí mismo. Con toda probabilidad, las opciones que habría tenido Kasparov o cualquier otro jugador de su nivel contra Alpha Zero habrían sido nulas y, sin embargo, en 1998, un mal manejo por parte de Kasparov de sus opciones le llevó a una derrota que, entonces, podría haber sido evitada.

Kasparov no era consciente de una importante debilidad de la inteligencia artificial, entonces y ahora: La fase de aprendizaje requiere una potencia de procesamiento espectacular aplicada, alternativamente, sobre bases de datos de contenidos (caso de Deep Blue) o sobre contenidos autogenerados (caso de Alpha Zero); el proceso de aprendizaje genera un programa mucho más sencillo, con menos requerimientos de potencia y éste es el que se enfrenta, en nuestro caso, a Kasparov.

Quizás este detalle puede parecer irrelevante pero no lo es en absoluto: Kasparov estaba jugando contra un programa sofisticado y capacidad para generar un nivel de juego equivalente a un jugador de primera línea pero…sin capacidad de aprendizaje. La capacidad de aprendizaje estaba en otro sitio y Kasparov tuvo en su mano la posibilidad de permitir o no su utilización.

Al principio de la competición, se establecieron las reglas de ésta y, entre ellas, estaba la posibilidad de admitir asesores externos por ambas partes. Kasparov podía haber prescindido de ellos y, al hacerlo así, habría obligado a que Deep Blue tampoco los tuviera, es decir, se habría quedado enfrentado a la parte operativa de Deep Blue que, teniendo un buen nivel de juego, probablemente habría sido insuficiente para derrotar a Kasparov.

Sin embargo, éste aceptó que hubiera asesores externos y ¿quiénes podían ser los asesores externos de Deep Blue? Especialistas en tecnología de la información que podían hacer el enlace entre la parte generadora de aprendizaje y la parte usuaria de ese aprendizaje. De esta forma, situaciones de difícil salida por no haber sido previstas podían ser manejadas recurriendo al primo de Zumosol, es decir, al sistema capaz de aprender. Ese acceso no habría existido si se hubiera cerrado a ambas partes la posibilidad de tener asesores y Kasparov posiblemente se habría ahorrado una derrota frente a un programa mucho menos evolucionado que los que vinieron después.

En términos prácticos, el asunto no tiene mayor importancia. Quizás Kasparov habría vencido en 1998 pero habría sido derrotado unos años más tarde con la aparición de sistemas capaces de aprender de forma “no humana” como el mencionado Alpha Zero.

Sin embargo, a pesar de esa irrelevancia en términos prácticos, lo que le falló a Kasparov es la explotación de una debilidad de la inteligencia artificial que hoy sigue existiendo, es decir, la estricta separación entre la parte del sistema que aprende y la parte del sistema que utiliza lo aprendido.

Gary Klein señalaba como las personas, en su proceso para tomar una decisión, podían realizar simulaciones mentales que les daban información sobre si una opción funcionaría o no. Puede decirse que, en el caso de las personas, no hay una separación entre el proceso de aprendizaje y el proceso de ejecución sino que ambos van indisolublemente unidos.

En el caso de la inteligencia artificial, las cosas son distintas: El sistema dispone de una gran cantidad de opciones de respuesta pero, si la situación que afronta no está contemplada entre las opciones disponibles -cosa no descartable en entornos abiertos- no dispone de esa capacidad de simulación mental que le permita aprender y, a la vez, ejecutar una tarea que no se encontraba en su catálogo de soluciones previo.

Esta diferencia, vital pero poco conocida salvo para los especialistas, hace que en determinados entornos donde las consecuencias de un error pueden ser muy elevadas, la inteligencia artificial pueda ser cuestionable, salvo en un papel complementario.

Kasparov no supo, o no dio la relevancia adecuada, a este factor y le supuso una derrota que, tal vez, habría sido evitable. Hoy, esto sigue siendo ignorado con mucha frecuencia y, como resultado, se podría llegar a utilizar la inteligencia artificial en entornos para los que no está preparada.

Los requerimientos de tiempo, capacidad de procesamiento y acceso a ingentes bases de datos de un sistema capaz de aprender hace que su inclusión en el sistema que ejecuta las tareas, sea un juego de ajedrez o manejar un avión, sea inviable. El sistema que utiliza el producto del aprendizaje, mucho más ligero, puede tener preparada la respuesta para una enorme cantidad de situaciones pero, si la que se produce no está entre ellas, no cabe esperar respuesta.

Este aspecto, frecuentemente ignorado, debería estar muy presente en muchas de las decisiones que se toman sobre dónde utilizar la inteligencia artificial y dónde no hacerlo.

La inteligencia artificial como vehículo para la degradación del conocimiento

Mucho antes de la eclosión de la inteligencia artificial, era fácil ver que en un momento en que la acumulación de conocimiento había alcanzado sus mayores niveles, se estaba produciendo una degradación del conocimiento humano en muchos terrenos.

En la primera fase, la degradación se produce a través de una especialización a ultranza y, en la segunda, se produce pasando de un conocimiento en profundidad a uno puramente procedimental.

Gary Klein nos previno contra la “segunda singularidad”, es decir, el hecho de que antes de que un ordenador sea capaz de superar a un ser humano – la llamada “singularidad”- éste haya sufrido un proceso de degradación de conocimiento tal que facilite la llegada de la singularidad original.

En la adquisición de conocimiento funciona una ley muy conocida por los expertos en calidad:

El coste del conocimiento está sujeto a una ley de rendimientos marginales decrecientes.

Cualquiera que haya recurrido a un centro de atención telefónica, sabe muy bien lo que es hablar con un robot humano, es decir, alguien dotado de un conocimiento estrictamente procedimental y que, cuando cualquier situación excede de su escaso ámbito de competencia, transferirá la petición a un experto o, misteriosamente, se cortará la llamada.

Una parodia, no exenta de una buena carga de realidad, sobre esta falta de conocimiento y sus efectos puede encontrarse aquí:

La unión de un conocimiento estrictamente procedimental junto con el uso de la realidad virtual también podía encontrarse antes de la popularización de la inteligencia artificial en ejemplos como éste:

Por supuesto, recorrer el camino inverso y pasar de un conocimiento procedimental a un conocimiento a fondo y a la posesión de las habilidades asociadas a éste, es un paso mucho más costoso, y aquí es donde entraría en juego la inteligencia artificial porque muestra una alternativa precisamente para evitarlo:

Se trata de una opción de menor calidad pero también de mucho menor coste que tiene muchas posibilidades de profundizar en un proceso de degradación iniciado hace tiempo.

Un mundo dominado por la inteligencia artificial daría lugar a varios tipos de situaciones distintas:

  • Situaciones en que podríamos resolver problemas con rapidez, ahorrando trabajo y de una forma brillante.
  • Situaciones en que la respuesta obtenida fuera mediocre pero un análisis coste-beneficio la convirtiese en aceptable.
  • Situaciones en las que nos haría peticiones imposibles de recursos de memoria o capacidad de procesamiento o entraría en un bucle infinito sin llegar nunca a una solución.

Estos tres tipos de situación abren tres preguntas derivadas de ellas y de gran relevancia para la evolución del futuro conocimiento:

  • ¿Quién y para qué se va a molestar en aprender algo que una inteligencia artificial siempre hará mejor?
  • ¿Quién se va a molestar en aprender algo que una inteligencia artificial hará igual o peor, pero con un proceso de aprendizaje mucho más rápido y barato?
  • Asumiendo que la adquisición de conocimiento profundo es cara en tiempo y dinero ¿a quién le va a merecer la pena adquirir los conocimientos necesarios para resolver esas situaciones para las que la inteligencia artificial no tiene respuesta?

Por cualquiera de los tres caminos llegamos al mismo sitio: Degradación del conocimiento humano. Sin embargo, puesto que la inteligencia artificial no es capaz de generar sus propios objetivos, se necesita un conocimiento humano de un nivel alto -y no sólo relativo al funcionamiento de la inteligencia artificial- para ser capaz de proveer los objetivos adecuados.

Alguien podría pensar que la tarea de poner los objetivos es fácil y lo difícil es precisamente lo que hace la inteligencia artificial, es decir, aprender pero la realidad es muy distinta:

Asimov escribió una divertida novela, “Azazel”, en la que un demonio hacía una interpretación literal de todo lo que se le pedía y se presentaban situaciones imprevistas en las que, habitualmente, todo empezaba bien pero, gracias a la interpretación literal, quien le planteó el objetivo al demonio acababa deseando no haberlo hecho jamás.

Asimov plantea el problema en una forma divertida, pero la vida real nos ha dado numerosos ejemplos; así, se han producido casos como las acusaciones de racismo a Amazon por el sistema utilizado para el reclutamiento; al parecer, Amazon había identificado a sus trabajadores de mayor rendimiento para buscar perfiles parecidos y, al hacerlo así, había introducido involuntariamente diversos sesgos que fueron objeto de denuncia. En una actividad muy distinta, los taxis sin conductor de San Francisco están provocando numerosas quejas, especialmente por parte de servicios de emergencia, debido a una conducción cada vez más agresiva.

Hay distintos tipos de algoritmos de aprendizaje y, en ausencia de un “Master Algorithm”, como lo denominó Pedro Domingos, cada tipo de problema tiene un algoritmo que es más adecuado que los demás pero, supuesto que el algoritmo haya sido correctamente seleccionado, la definición de los objetivos y las limitaciones a la actuación son quienes definen la corrección de lo que se aprende y de las actuaciones resultantes.

Sin embargo, la definición de objetivos y sus limitaciones requiere un conocimiento profundo, ni accesible al sistema ni exclusivamente acerca del sistema; ese conocimiento es costoso de adquirir y ese coste es difícil de asumir, especialmente cuando hay sucedáneos de más bajo nivel que pueden dar una respuesta, aunque sea mediocre.

Se podría argumentar que una máquina podría fijarle objetivos a otra, de modo parecido a cómo se están utilizando sistemas de inteligencia artificial para interpretar a otros sistemas y, de esta forma, hacer comprensibles sus resultados a la persona que tiene que asegurarse de que el sistema aprende lo correcto.

 Tal vez, en cierto modo la opción de tener sistemas poniendo objetivos a otros sistemas sería una buena noticia, pero un eventual fallo en la formulación de objetivos se arrastraría a través de distintas generaciones de inteligencia artificial y, probablemente, no quedaría nadie capaz de corregir el error: La discusión estaría ya a un nivel inalcanzable para un humano cuyo conocimiento había sido degradado.

La situación, tal como está definida hoy, presenta dos problemas:

  • ¿Quién, por qué y para qué va a tratar de adquirir un conocimiento profundo sobre cualquier materia cuando se dispone de un conocimiento superficial infinitamente más barato y rápido de obtener?
  • En el supuesto de que quisiéramos adquirir ese nivel de conocimiento ¿vamos a tener la posibilidad de hacerlo o, al estar su adquisición mediatizada por sistemas de inteligencia artificial, nunca llegaremos al nivel de conocimiento profundo necesario para retar y mejorar los sistemas?

El problema no es la inteligencia artificial; éste es un proceso en marcha desde hace mucho tiempo. Sowell lo identificó correctamente, como demuestra la cita inicial, pero se detuvo en la especialización y no siguió profundizando en la espiral de degradación del conocimiento y sus efectos.

La inteligencia artificial sólo ha puesto el elemento tecnológico que se necesitaba para carta de naturaleza y, tal vez, para dotar de irreversibilidad al proceso.

Inteligencia Artificial: ¿El nuevo «Camino de Servidumbre»?

Ante los ojos del colectivista hay siempre un objetivo superior a cuya consecución sirven estos actos y que los justifican para aquél, porque la prosecución del fin común de la sociedad no puede someterse a limitaciones por respeto a ningún derecho o valor individual.

Camino de servidumbre, Hayek

Cuando una tecnología o una herramienta es suficientemente poderosa, los cambios que produce en la sociedad no son cuantitativos sino cualitativos. No producen mejoras acumulativas sino que producen cambios sociales profundos.

Hoy podemos preguntarnos si la inteligencia artificial tiene potencial suficiente para alterar el modelo social y llevarnos a un nuevo camino de servidumbre, en términos muy semejantes a los que en su día reflejó Hayek. Probablemente sí; nótese que Hayek se oponía la planificación central por el efecto que ésta suponía sobre la libertad individual. Sin embargo, veremos que un mundo en el que la inteligencia artificial pase a tener un papel relevante es difícilmente separable del concepto de planificación central.

Resulta difícil mantener una discusión racional sobre la inteligencia artificial, sus capacidades, sus limitaciones y sus potenciales efectos. Para algunos, tiene un poder mágico y no hay nada que se le pueda resistir; otros preferirán refugiarse en un esencialismo de lo humano y negarán que nos pueda desplazar.

Entre los iluminados tecnológicos, se da un argumento muy común: Los esencialistas humanos siempre han puesto un límite que, supuestamente, nunca se iba a superar y el desarrollo tecnológico ha superado una y otra vez esos límites; este argumento ha sido utilizado concretamente por Rodney Brooks, uno de los personajes presentes en la primera y fallida etapa de la inteligencia artificial, quien, curiosamente, no percibió que su argumento tenía el mismo fallo que denunciaba: Del hecho de que el progreso tecnológico haya sido capaz de saltar todas las barreras que los esencialistas señalaban como inamovibles no puede deducirse que no exista ningún límite, como parecería concluirse de la crítica al esencialismo humano.

Éste es el terreno en el que nos movemos desde hace mucho tiempo; Aristóteles decía que en el término medio está la virtud…y, en la mayoría de los casos, se equivocaba: Es difícil que la verdad sobre cualquier cosa pueda salir triunfante de una contraposición de absurdos y, tal vez, lo que debe hacerse no es buscar el hipotéticamente virtuoso término medio sino cambiar el modelo de análisis y, sobre todo, que las partes en conflicto no estén defendiendo intereses propios sino que estén buscando la mejora desde distintas perspectivas.

La inteligencia artificial de hoy está muy lejos de la llamada GOFAI (Good Old Fashioned Artificial Intelligence) siempre hambrienta de una memoria y de una capacidad de procesamiento que acabarían siendo las excusas perfectas para justificar la lentitud o la ausencia de avances.

Cuando, hoy, nos definen a los utility-based agents (Norvig y Russell) como an agent that possesses an explicit utility function can make rational decisions with a general-purpose algorithm that does not depend on the specific utility function being maximized es inevitable preguntarnos si está hablando de nosotros y si esa definición no es aplicable a todos y cada uno de los seres humanos. Si es así ¿por qué nos debería preocupar la inteligencia artificial, más allá del hecho de ser un competidor? Si conseguimos a alguien/algo con una capacidad intelectual capaz de romper todos los límites conocidos y que, además, no trae su propio equipaje de intereses bastardos ¿no deberíamos alegrarnos?

Tal vez no, aunque muchos críticos de la inteligencia artificial yerran el tiro: Cuando se habla de sistemas críticos -aviación, industria nuclear y otros- donde el comportamiento correcto es clave para el mantenimiento de la seguridad, dirigen su crítica más hacia lo que les resulta más familiar, es decir, sistemas complejos dotados de reacciones automáticas, cuya complejidad los hace difíciles de entender para quienes los operan y difíciles de utilizar de forma eficaz cuando se presentan eventos no previstos en su diseño.

Cierto es que un sistema dotado de inteligencia artificial no mejoraría esa situación sino que, muy probablemente, la empeoraría y habría que contar con eventos en los que el avanzadísimo sistema entrase en un bucle infinito, en una petición imposible de recursos o requiriese unos tiempos de proceso inasumibles en una situación de urgencia. El piloto, el operador nuclear y otros tienen en estas situaciones el papel de Alejandro Magno deshaciendo el nudo gordiano por el simple procedimiento de cortarlo, sin dejarse enredar por su complejidad; eso sí, para lograrlo necesita una espada y muchos de los sistemas actuales lo primero que hacen es arrebatarle el equivalente metafórico de la espada, es decir, conciencia situacional plena y autoridad indiscutible sobre el sistema que está manejando.

La moderna inteligencia artificial va mucho más allá de la complejidad de automatismos ciegos en los que la complejidad proviene de una lógica interna con multitud de ramas no conocidas y de una interacción con sensores y efectores no conocida en detalle por quien los maneja. No es ésa la complejidad de la inteligencia artificial; ésta evoluciona y es capaz de mejorar pero…

  • ¿Le han marcado correctamente las prioridades de forma que el propio proceso de aprendizaje no pueda hackearlas y producir resultados inesperados?
  • ¿Es capaz de atender a situaciones cambiantes donde la respuesta correcta implica una revisión de las prioridades y los criterios de éxito?
  • ¿Puede enredarse en situaciones que requieran un aumento inasumible de memoria o tiempo de procesamiento?
  • ¿Puede enredarse en situaciones donde no sea capaz de encontrar una respuesta válida y continúe buscándola indefinidamente?

Cada una de estas preguntas puede desarrollarse en otras preguntas de rango inferior y más próximas a la operativa concreta pero, desde un punto de vista estrictamente funcional, son las preguntas a responder y no son fáciles.

Una persona, que conozca a fondo el área de conocimiento a la que se aplica la inteligencia artificial, no tendrá ninguno de estos problemas, sin que ello implique que no pueda ser superada en terrenos donde las reglas son fijas y los objetivos no están sujetos a cambios.

Así, la inteligencia artificial representa un desarrollo tecnológico capaz de competir con ventaja contra humanos en los terrenos en que ha desarrollado su aprendizaje y siempre que disponga de reglas fijas; al mismo tiempo, ese mismo desarrollo es una mala caricatura de un experto cuando las situaciones son ambiguas y cambiantes.

Pueden encontrarse situaciones en que programas de inteligencia artificial ya ampliamente populares son utilizados para realizar tareas en las que se ahorra un buen número de horas de trabajo; al mismo tiempo, hay ocasiones en que las soluciones proporcionadas distan mucho de tener una calidad medianamente buena; lo peor de todo es que no siempre es fácil entender por qué en un caso ha dado una respuesta excelente y en otro, aparentemente muy parecido, ha contestado una trivialidad o ha dado una información errónea.

Sin embargo, su utilización va creciendo de forma bastante acrítica porque, a pesar de estos inconvenientes, la inteligencia artificial puede dar soluciones rápidas y que, incluso en los casos en que su calidad sea cuestionable, pueden pasar como suficientes. Un fenómeno habitual es que la calidad de las respuestas sea vista de forma muy distinta por alguien que es nuevo en el ámbito de conocimiento y por un experto en ese mismo ámbito.

¿Por qué el grado de aceptación es superior a lo que justifican los resultados? Los expertos en calidad nos han enseñado que el coste de la mejora marginal crece exponencialmente; ello puede conducir a conformarse con un resultado mediocre si éste resulta mucho más fácil de conseguir que un resultado excelente y éste sería uno de los primeros peligros de la inteligencia artificial:

Disminuir el valor asociado al conocimiento humano, mucho más lento costoso de adquirir, y preferir una versión degradada de éste conduce a una degradación del conocimiento humano y, con ello, no sólo de la capacidad asociada a la utilización de tal conocimiento sino de la capacidad para marcarle objetivos adecuados a la inteligencia artificial. En otras palabras, podría producirse un parón en la generación de conocimiento y en el desarrollo resultante; además, ese parón no afectaría sólo al conocimiento humano sino también a la capacidad de desarrollo de la inteligencia artificial.

Otro aspecto esperable es una situación de desempleo masivo en todo el mundo; en muchas actividades, la inteligencia artificial podría llevar a cabo las tareas necesarias, en unos casos con mayor calidad que su contraparte humana y en otros, con menor calidad, pero siempre con mucho menor coste de procesamiento.

Normalmente, cuando se utiliza este argumento, cabe esperar como respuesta una referencia a la Revolución Industrial y cómo hubo cambios de tipos de trabajo, pero, globalmente, la cantidad de trabajo existente no sólo no disminuyó, sino que aumentó. ¿Cabe esperar algo parecido ahora? No; debe tenerse en cuenta que la reproducción de sistemas digitales tiene un coste cercano a cero y, por tanto, el número de especialistas en inteligencia artificial no es, en absoluto, proporcional a la cantidad de potencia instalada. De igual modo y por la misma lógica, no se necesita un número de programadores de Windows proporcional al número de unidades en funcionamiento.

Alguien podría pensar que esto vale para el diseño básico, pero no para la adaptación y la implantación. Si es así, recordemos la diferencia entre los sistemas AlphaGo y AlphaZero: El primero fue diseñado específicamente para jugar al Go y competir con el campeón mundial del momento al que derrotó; el segundo fue diseñado para aprender de cualquier conjunto de dato que se le facilitase; cuando le facilitaron un conjunto de datos sobre Go, AlphaZero aprendió el juego con una calidad suficiente para derrotar a AlphaGo, que a su vez había derrotado a un campeón mundial, y aprendió otros juegos en los que también fue capaz de derrotar a programas especializados. ¿De verdad, en ese contexto, alguien puede creer que la adaptación individual y la implantación va a proporcionar el número de puestos de trabajo que produzca un nuevo efecto Revolución Industrial?

¿Puede funcionar un mundo donde el trabajo sea algo cuantitativamente marginal? En teoría, sí. Los aumentos de productividad en actividades donde el trabajo humano sería mínimo o inexistente podrían permitir soluciones como los subsidios universales, en su día defendidos por el propio Keynes, pero ¿quién los controlaría? Una sociedad en la que el trabajo es algo realizado por unos pocos y, probablemente, durante un corto tiempo es una sociedad que, casi por fuerza, funciona mediante una planificación central, es decir, el modelo que Hayek criticaba en “Camino de servidumbre”.

Naturalmente, éste sería el primer paso. Los pasos siguientes consistirían en determinar cuántas personas pueden ser mantenidas por ese sistema centralizado, eliminando toda libertad individual en cuestiones como tener o no hijos y prácticas como la eugenesia y la eutanasia formarían parte del paisaje, con carácter obligatorio.

Curiosamente, este sistema de planificación central apoyado en una eclosión de la inteligencia artificial caería en el mismo problema que todos los sistemas de planificación central anteriores: ¿Cuál es el incentivo para conseguir una mayor productividad? ¿No llegaríamos a una especie de “planeta de los simios”, viviendo del progreso realizado por otros en épocas anteriores?

Cuando alguien dice que la inteligencia artificial puede significar el fin de la humanidad, no es previsible que piense en una nueva edición de “Terminator”, sino en el fin de una humanidad donde el individuo tiene un valor intrínseco y no es una mera pieza de un Leviatán digital.

Si el trabajo desaparece, es previsible que los demás elementos -planificación central, pérdida de valor del individuo, determinación de cuántos habitantes tiene que haber, eugenesia, eutanasia, etc.- aparezcan como una consecuencia lógica.

Por otra parte, puesto que la inteligencia artificial necesita que le faciliten objetivos y la experiencia demuestra que ésta no es una tarea fácil, la regresión hacia la mediocridad del conocimiento humano haría difícil el progreso, incluso si éste se pretende que esté basado en la inteligencia artificial. Llegados aquí, efectivamente, la humanidad tal como la conocemos, habría desaparecido.

THE HIDDEN SIDE-EFFECTS OF ARTIFICIAL INTELLIGENCE

(English Translation below)

La Inteligencia Artificial, desde su inicio, ha traído un enorme entusiasmo tanto a favor como en contra. Tanto unos como otros incurren en un esencialismo difícil de justificar: Los primeros porque, al equiparar al ser humano con un procesador, llegan a la conclusión de que el estado del arte de la tecnología de la información permite tener mejores opciones. Los segundos porque consideran que el ser humano aporta elementos que son imposibles de conseguir para la máquina.

Sin embargo, en el estado actual, esa discusión que aún sigue vigente peca de superficialidad: ¿La tecnología de la información es capaz de procesar infinitamente más información y mucho más rápidamente que cualquier humano? Claramente, sí. ¿El ser humano es capaz de atender a situaciones que son imposibles para los más avanzados productos tecnológicos? Claramente también. ¿Puede entonces encontrarse un nicho de especialización en el que convivan ambos? Eso ya es más discutible y de ahí la idea de efectos escondidos.

Pongamos un ejemplo conocido: La previsión meteorológica. Un meteorólogo experto es capaz de detectar pautas que se le pueden escapar a un sistema de información avanzado; sin embargo, el sistema de información avanzado es capaz de procesar muchas más fuentes de información de las que puede procesar el meteorólogo, especialmente si contamos con limitaciones temporales que van a definir la validez de la previsión.

El meteorólogo experto puede equivocarse pero también puede conseguir resultados superiores a los accesibles a un sistema de información gracias a su conocimiento de pautas y a su capacidad para “construir” una evolución esperable. Sin embargo, contradecir al sistema encargado de las previsiones puede representar un compromiso importante porque, en caso de error, alguien le estará señalando que el sistema se lo estaba avisando.

Un meteorólogo menos experto, ya formado en un entorno de sistemas de información, será más proclive a aceptar pasivamente los resultados del sistema y le resultará más difícil adquirir el conocimiento de un meteorólogo experto. Le faltará capacidad para seleccionar las fuentes de datos relevantes y alcanzar conclusiones propias y lo que es peor: La experiencia trabajando con un sistema de información no le dotará de esa capacidad. Nunca alcanzará el nivel de experto sino, como máximo, el de operador avanzado de sistemas de información. Por añadidura, un cambio de sistema de información puede representar la pérdida de un conjunto de ”trucos del oficio” aprendidos de la observación; se trata de un conocimiento operativo que no es susceptible de trasladar a otro entorno, incluso cuando ese nuevo entorno no signifique otra cosa que un cambio de proveedor tecnológico.

Por supuesto, la meteorología es un mero ejemplo que se puede extrapolar a la aviación, a la navegación marítima, a la mecánica, a las finanzas y virtualmente a cualquier terreno imaginable.

La “toma racional de decisiones” se ha convertido en un estándar incluso en aquellos terrenos en que no es la práctica adecuada; algunos autores como Gigerenzer, Klein o Flach han señalado entornos en que ese modelo de procesamiento de información no sirve y, en su lugar, se utilizan modelos de procesamiento heurístico que hacen uso de la experiencia acumulada en forma de conocimiento tácito, difícil de expresar y más difícil aún de formalizar, y que son los que han resuelto situaciones en las que un modelo “racional” habría llegado a la parálisis por el análisis, incluso aunque se requiriese una respuesta urgente y se tratase de un caso de vida o muerte.

Casos muy conocidos en aviación como el American Airlines 96, United 232, QF32, US1549, Gimli glider y muchos otros muestran claramente cuál es el valor del experto. Sin embargo, el riesgo que se está corriendo hoy es que las generaciones formadas en entornos de tecnología de la información avanzada nunca alcancen ese nivel de experto.

El sociólogo francés Edgar Morin advertía de que la máquina-máquina siempre será superior al hombre-máquina. Sin embargo, al privar al ser humano de la capacidad para adquirir conocimiento real, lo estamos convirtiendo en hombre-máquina.

¿Puede convivir la inteligencia artificial con la generación de expertos capaces de cubrir las insuficiencias de la primera? En teoría, sí. Los hechos están demostrando que esa opción tiene una gran dificultad porque no son desarrollos independientes.

La persona formada en una disciplina donde ha entrado la inteligencia artificial tiene cada vez más difícil el camino para convertirse en un experto real, es decir, elegir los datos que necesita, procesarlos en la forma que un humano experto lo haría y llegar a sus propias conclusiones.

El advenimiento de la nueva generación de sistemas de información dotados de inteligencia artificial está conduciendo a que el conocimiento tácito se esté tratando como conocimiento obsoleto, aunque se trata de dos cosas completamente distintas. Se está destruyendo la escala que permite acceder al grado de experto, atendiendo a cantidad y diversidad de situaciones vividas y, con ello, podemos perder capacidad para atender a situaciones imposibles para cualquier sistema de información por avanzado que éste sea.

No es la única situación posible, pero escenarios en los que hay que actuar de forma inmediata y con unos datos fragmentarios y a menudo contradictorios no son precisamente el ámbito en que se desenvuelven bien los sistemas de información. El ser humano muestra en estas situaciones capacidades que están más allá de las de los sistemas de información -porque procesa esas situaciones de forma radicalmente distinta- pero, para que esto ocurra, es necesario disponer de expertos y no de los hombres-máquina mencionados por Morin.

El gran problema y el efecto colateral oculto de los sistemas de información avanzados es precisamente que está destruyendo la capacidad de generar expertos y, en su lugar, está estableciendo un reino de mediocridad tecnológicamente avanzada. Cuando un avanzadísimo sistema de inteligencia artificial basado en la computación cuántica tenga que tomar una decisión en una situación como las señaladas más arriba, nos acordaremos de los expertos desaparecidos.

THE HIDDEN SIDE-EFFECTS OF ARTIFICIAL INTELLIGENCE

Artificial Intelligence, since its inception, has brought enormous enthusiasm both for and against. Both incur in an essentialism that is difficult to justify: The former because, by equating the human being with a processor, conclude that the state of the art of Information Technology allows for better options. The latter because they consider that the human being provides elements that are impossible for the machine to achieve.

However, in the current state of the art, this discussion, which is still going on, is superficial:

Is information technology capable of processing infinitely more information and much faster than any human being? Clearly, yes.

Is a human being capable of dealing with situations that are impossible for the most advanced technological products? Clearly, yes.

Can a niche of specialization be found in which both can coexist? That is more debatable and hence the idea of hidden effects.

Let’s take a well-known example: weather forecasting. An expert meteorologist can detect patterns that may escape an advanced information system; however, the advanced information system is able to process many more sources of information than the expert meteorologist can process, especially if we have temporal limitations that will define the validity of the forecast.

The expert meteorologist can be wrong, but he can also achieve results superior to those accessible to an information system thanks to his knowledge of patterns and his ability to «construct» an expected evolution. However, contradicting the forecasting system may represent a major compromise because, in case of error, someone will be pointing out to him that the system was warning him.

A less experienced meteorologist, already trained in an information systems environment, will be more likely to passively accept the results of the system and will find it more difficult to acquire the knowledge of an expert meteorologist. He will lack the ability to select relevant data sources and reach his own conclusions and worse: His experience working with an information system will not give him that ability. He will never reach the level of an expert but, at most, that of an advanced information system operator. Moreover, a change of information system may represent the loss of a set of «tricks of the trade» learned from observation; this would be operational knowledge not transferable to another environment, even if “new environment” means nothing more than a change of technological supplier.

Of course, meteorology is only an example of something that happens in aviation, maritime navigation, mechanics, finance, and virtually any imaginable terrain.

Rational decision making» has become a standard even in those fields where it is not the proper practice; some authors such as Gigerenzer, Klein or Flach have pointed out environments where such an information processing model does not work. Instead, heuristic processing that make use of accumulated experience in the form of tacit knowledge are used; they are difficult to express and even more difficult to formalize and, despite that, these are the models that have solved situations where a «rational» model would have reached paralysis by analysis, even if an urgent response was required and it was a case of life and death.

Well known cases in aviation such as American Airlines 96, United 232, QF32, US1549, Gimli glider and many others clearly show what the value of the expert is. However, the risk today is that generations trained in advanced information technology environments will never reach that level of expert.

The French sociologist Edgar Morin warned that the machine-machine will always be superior to the man-machine. However, by depriving human beings of the ability to acquire real knowledge, we are turning them into man-machines.

Can artificial intelligence coexist with the generation of experts capable of covering the inadequacies of the former? In theory, yes. The facts are showing that this option is very difficult because they are not independent developments.

The person trained in a discipline where Artificial Intelligence has entered has an increasingly difficult path to become a real expert, i.e., to choose the data he needs, process it in the way a human expert would and come to his own conclusions.

The advent of the new generation of information systems equipped with artificial intelligence is leading to the fact that tacit knowledge is being treated as obsolete knowledge, although these are two completely different things. The scale that allows access to the level of expert, based on the number and diversity of situations experienced, is being destroyed and, as a result, we may lose the capacity to deal with situations that are impossible for any information system, no matter how advanced it may be.

Scenarios requiring immediate action, with fragmentary and often contradictory data are not exactly the area in which information systems excel. In these situations, human beings show capabilities that are beyond those of information systems -because they process these situations in a radically different way- but for this to happen, it is necessary to have experts and not the machine-men mentioned by Morin.

The great problem and the hidden side effect of advanced information systems is precisely that it is destroying the capacity to generate experts. In its place, it is establishing a reign of technologically advanced mediocrity. When a highly advanced artificial intelligence system based on quantum computing must make a decision in a situation like the ones described above, we will remember the missing experts.