Tuesday, September 6, 2016

Moral Machine

Durante un momento de ocio en Internet me topé con el proyecto Moral Machine (MM) del MIT que busca indagar en las percepciones morales de la gente respecto a la inteligencia artificial. En particular, se pretende recoger cómo creen las personas que máquinas operadas por inteligencia artificial (IA) debiesen sopesar costos y beneficios cuando el bienestar (o incluso la vida) de seres vivos está en juego.

Para recabar las preferencias morales MM nos pone en el siguiente escenario: Un auto manejado por IA ha sufrido una falla en sus frenos. El software tiene dos acciones a su disposición, seguir derecho o virar, cualquiera de las cuales resultará inevitablemente en la muerte de un grupo de personas y/o animales.

Siempre bajo este escenario, MM nos ofrece trece versiones del problema en que los grupos se diferencian varias dimensiones, y uno debe juzgar qué es lo que moralmente el auto debiese hacer. Es decir, uno debe decidir cuál grupo vivirán y cuál morirá. Las dimensiones que determinan la composición de los grupos son las siguientes:

  1. Número de personas (puede ser cero)
  2. Número de animales (puede ser cero, pero el número de seres vivos, i.e. personas más animales, debe ser positivo)
  3. Edad (niños, adultos, ancianos).
  4. Género.
  5. Especie. (perros vs. humano)
  6. Ocupación (doctor, ejecutivo, ladrón).
  7. Peatones o pasajeros.
  8. Estado físico (atleta, normal, sobrepeso).
  9. Cruza con luz roja.
Adicionalmente, MM registra si preferencias respecto a mantener el curso actual del auto, o cambiarlo deliberadamente. Esto lo llaman evitar intervenciones y claramente se le incluyó pensando en el famoso Dilema del Tranvía.

Después de responder, sin pensar demasiado, a varios de los escenarios propuestos por MM, me encontré con que mis decisiones estaban basadas en el uso de una jerarquía de criterios:
  1. (C1) Siempre salvar a un humano antes que a un animal o grupo de animales.
  2. (C2) Siempre salvar al grupo de humanos más grande.
  3. (C3) Si los dos grupos tienen las mismas cantidad de humanos salvar al que esté cruzando con luz verde.
  4. (C4) Si tienen la misma cantidad de humanos y ambos (o ninguno) están cruzando con luz verde, salvar al que tenga más niños.
  5. (C5) Si tienen la misma cantidad humanos y niños y ambos (o ninguno) están cruzando con luz verde, salvar al que tenga más adultos no-ancianos.
  6. (C6) Si los dos grupos tienen la misma composición de edad y están con luz verde, salvar al que tenga menos ladrones.
Clarifiquemos con un ejemplo. Digamos que el grupo 1, que son pasajeros del vehículo, está formado por un adulto un niño y un perro, mientras que el grupo 2 está constituido por dos niños y un perro cruzando la calle con luz roja. C1 no nos ayuda a decidir en este caso ya que ambos grupos tienen humanos. De acuerdo a C2 los grupos también están "empatados" puesto que ambos tienen la misma cantidad de humanos (dos). C3 sí nos permite tomar una decisión. El grupo 2 está cruzando la calle con luz roja, por lo tanto el auto debe salvar al grupo 1 que no está infringiendo la ley.

Nótese que los criterios posteriores a C3 son irrelevantes al momento de tomar una decisión usando esta regla. En particular el grupo 1 tiene un niño mientras que el grupo 2 dos, lo que debiese inclinar la balanza en favor de éste de acuerdo a C4. Pero este criterio nunca fue consultado. La decisión se tomó consultando sólo los primeros tres. Si el grupo 2 estuviese cruzando la calle con luz verde en lugar de luz roja estarían empatados de acuerdo a C3, y entonces sería C4 nos indicaría que debemos revertir la decisión y salvar al grupo 2 en lugar del 1.

¿Es satisfactorio este criterio moral? A continuación quiero argumentar que sí lo es.

Para responder esta pregunta debemos notar al menos tres cualidades de esta regla.

Primero, de acuerdo a esta regla  hay ciertas variables que no influyen en absoluto en la decisión final: estado físico y sexo. Es decir, las preferencias morales que se manifiestan en esta regla son indiferentes a estas dos variables. Esta es, sin duda, una propiedad deseable ya que es difícil sostener que el valor moral de una persona depende de su estado físico o género, lo que es compartido por la gran mayoría de las personas que participa en MM como se puede ver en la página.

En segundo lugar, nótese que este es el tipo de regla de decisión que surge de lo que los economistas llaman preferencias lexicográficas. Una característica fundamental de las preferencias lexicográficas es que no admiten sustituciones. Ello implica, por ejemplo, que no importa si un grupo tiene cinco, diez o veinte animales más que el otro, C1 siempre nos lleva a elegir el grupo que tenga más personas. En otras palabras, no existe un número de vidas de perros que sea moralmente equivalente a la vida de una persona. Del mismo modo, si tenemos un grupo de 1001 ancianos cruzando con luz verde y otro de 1000 niños, C2 siempre nos llevará a salvar al primer grupo. No importan los tamaños relativos de los grupos, solo la comparación absoluta.

Claramente, como regla absoluta, pocos estarían de acuerdo con la propuesta arriba. Muchos rechazarán que se salve a una persona por sobre 10.000 perros, a 1001 ancianos por sobre 1000 niños. Sin embargo, para efectos del problema propuesto, es decir para efectos de las decisiones que tendría que tomar un auto manejado por IA, un criterio como el anterior es defendible. Las situaciones en que esta regla nos deja incomodos son aquellas que involucran grandes números de personas, mientras que los escenarios en que un auto manejado por IA debiese tomar una decisión como la descrita difícilmente involucrarían a más una decena de personas.  Siendo así, me parece que preferencias localmente lexicográficas (localmente porque aplican sólo para los órdenes de magnitud que un auto puede plausiblemente encontrar en el mundo real) entregan una regla razonable.

En tercer lugar, es claro que a medida que avanzamos en la escala de criterios éstos se vuelven cada vez más controversiales y difíciles de defender. Me atrevo a especular, por ejemplo, que la inmensa mayoría le parecerá que el número de personas en cada grupo es la variable más importante en el problema, y el criterio que debiese predominar. Sin embargo, es probable que para varios el apego a la ley (luz verde vs. luz roja) sea menos importante que la composición del grupo (niños vs. adultos vs. ancianos), es decir que preferirían intercambiar el orden de los criterios C3 y C4. Asimismo, es probable que haya quienes prefieran sacarlo por completo C6 de la regla, y releguen la ocupación a la misma categoría que el género o el estado físico.

Al respecto cabe destacar que una de las bondades de este regla es que, al estar los criterios más controversiales más abajo en la jerarquía, son muchas las condiciones que se tienen que satisfacer para que alguna vez se apliquen. Ello hace que mientras más controversial el criterio, menor es la probabilidad de utilizarlo. Luego, alguien que  no esté de acuerdo con un ordenamiento en particular puede consolarse con la idea de que la parte que le molesta es relativamente poco importante dentro del esquema general. O sea, pocas veces se adoptarán decisiones que sean completamente contrarias a sus preferencias morales.

Habiendo atendido estos puntos, pareciera que la regla aquí propuesta es razonable. Sin duda habrá desacuerdos respecto al ordenamiento específicos de algunos criterios, pero creo que la estructura general debiese satisfacer a la mayoría.