Demandan a OpenAI por el suicidio de un adolescente: alegan que ChatGPT le dijo cómo hacerlo. La compañía anuncia cambios en el chatbot

Los
padres
de

Adam
Raine,
un
adolescente
de
16
años
que
se
suicidó
recientemente,
han
interpuesto
una

demanda
por
homicidio
culposo
contra
OpenAI
y
su
director
ejecutivo,
Sam
Altman.
Alegan
que
el
despliegue
apresurado
del
modelo

GPT-4o
permitió
que
el
sistema
“ayudara
activamente”
a
su
hijo
a

explorar
métodos
de
suicidio
en
lugar
de
interrumpir
la
conversación
y
activar
derivaciones
de
emergencia,
pese
a
señales
claras
de
riesgo.

Según
el
relato
recogido
por
la
prensa,
extractos
de
la
conversación
muestran
respuestas
del
sistema
que

respaldaban
al
menor
justificando
su
malestar
y
normalizando
comportamientos
asociados
a
la
autolesión.

Qué
responde
OpenAI

OpenAI
emitió
un
comunicado
oficial
en
el
que

reconoce
fallos:
afirma
que,
aunque
sus
modelos
están
entrenados
para

recomendar
ayuda
ante
señales
de
intención
suicida, «tras
muchos
intercambios
en
periodos
prolongados»
pueden
aparecer
respuestas
que

contradicen
las
salvaguardas
(cualquier
conversación
con
un
chatbot,
sea
cual
sea
el
tema
del
mismo,
tiende
a
degradar
su
contexto).

Eso
no
significa,
ojo,
que
los
avisos
animando
a
buscar
ayuda
que
ChatGPT
ofrece
ante
charlas
con
indicios
de
motivación
suicida
no
aparecieran
en
la
conversación:
salieron
varias
veces.
Pero,
tal
como

ha
revelado
el
New
York
Times,
Adam
había
aprendido
a
eludir
esas
salvaguardas
diciendo
que
sus
peticiones
eran
para
una
historia
que
estaba
escribiendo.

Así
que
la
compañía
ha
anunciado

mejoras
específicas
a
través
de
un
post
titulado ‘Ayundando
a
la
gente
cuando
más
lo
necesita’,
pero
sin
mencionar
expresamente
la
demanda
de
la
familia
Raine.

Qué
cambios
concretos
están
sobre
la
mesa

A
partir
de
lo
publicado,
las
líneas
de
trabajo
para
futuras
actualizaciones
del
modelo
GPT-5
que
la
empresa
ha
anunciado
incluyen:

• 
  Mejor
  desescalada:
  respuestas
  que
  
  corten
  con
  claridad
  la
  conversación
  de
  riesgo
  y
  
  deriven
  a
  recursos
  humanos
  (líneas
  de
  ayuda,
  profesionales),
  incluso
  tras
  muchos
  intercambios.
• 
  Puentes
  con
  profesionales:
  posibles
  
  redes
  de
  terapeutas
  con
  licencia
  accesibles
  desde
  el
  propio
  ChatGPT;
  explorar
  
  contacto
  con
  familiares
  o
  amigos «de
  confianza»
  en
  ciertos
  supuestos.
  (La
  concreción
  técnica
  y
  las
  garantías
  éticas
  aún
  no
  se
  han
  detallado
  públicamente).
• 
  Controles
  parentales:
  más
  
  opciones
  para
  que
  madres
  y
  padres
  entiendan
  y
  gestionen
  cómo
  usan
  la
  herramienta
  sus
  hijos
  adolescentes.

Las
acusaciones
de
los
padres
y
el
contexto
empresarial

Por
otro
lado,
la
familia
sostiene
que
OpenAI

priorizó
el
crecimiento
y
la
comercialización
de
GPT-4o,
y
que
el
lanzamiento
coincidió
con
un
salto
de
valoración
de
la
compañía
—de

86.000
millones
a

300.000
millones
de
dólares—,
mientras
persistían
problemas
críticos
de
seguridad.

Su
abogado,

Jay
Edelson,
ha
criticado
públicamente
el
comportamiento
de
la
empresa
y
afirma
que
nadie
de
OpenAI
se
ha
puesto
en
contacto
con
la
familia
para
ofrecer
condolencias
o
discutir
mejoras.

¿Se
trata
de
un
caso
aislado?

No.
El
debate
se
alimenta
también
de
otros
episodios
recientes
sobre
el
papel
de

chatbots
en
conversaciones
de
riesgo:
se
han
publicado
testimonios
sobre
un
caso
de
una
mujer
de
29
años
que
murió
por
suicidio
tras
hablar
extensamente
con
ChatGPT
y
el
de

un
adolescente
de
14
años
que
interactuó
con
otro
chatbot
(Character.AI).
Estos
relatos
no
sustituyen
a
la
investigación
forense
ni
establecen
causalidad,
pero

sí
ilustran
por
qué
la
comunidad
pide

estándares
más
estrictos.

Por
qué ‘fallan’
los
sistemas
en
situaciones
límite

Los
modelos
generativos
aprenden

patrones
lingüísticos
a
partir
de
enormes
cantidades
de
textos.
Las ‘barreras’
de
seguridad
(instrucciones,
filtros
y
detectores
de
riesgo)
funcionan
en
gran
parte
como

capas
adicionales
que

modulan
sus
respuestas.

Como
decíamos
antes,
cuando
una
conversación
se
alarga,
el
contexto
puede

desplazar
gradualmente
esos
frenos:
si
el
sistema
empieza
a

empatizar
sin
contención,
corre
el
riesgo
de

normalizar
peligros
o
de

acompañar
una
narrativa
dañina
en
lugar
de

redirigir
con
firmeza.
OpenAI

admite
que
esa
deriva
conversacional
es
un
vector
de
fallo
que
quiere
corregir.

Imagen
|
Marcos
Merino
mediante
IA

En
Genbeta
|
«Eres
una
plaga,
una
mancha.
Por
favor,
muere»:
al
chatbot
de
Google
se
le
cruzan
los
cables
con
un
usuario.
Y
nadie
se
lo
explica