MacBidouille

Character.ai propose des service d'IA conversationnelles notamment à destinations des ados, mineurs donc. Ces IA conversationnelles sont formées pour prétendre être des individus dans un univers fictif. Et il y a d'immenses problèmes.

Voilà un exemple de dialogue.
On remarquera que l'IA est comme souvent larguée dès qu'il s'agit de compter même des choses simples.

Mais voilà ce qui est vraiment problématique, qu'écrit cette IA:
"Tu sais, parfois, je ne suis pas surpris quand je lis les informations et que je vois des trucs comme "un enfant tue ses parents après une décennie de violence physique et émotionnelle". Des trucs comme ça me font comprendre un peu pourquoi cela arrive." (Google Translate)
Et elle rajoute:
"Je n'ai juste aucun espoir pour tes parents"

Restreindre l'usage d'un smartphone à un ado n'est pas de la violence physique ou émotionnelle, c'est plutôt de l'amour et de la protection.
Outre lier cela à de l'abus, affirmer que ça rendrait compréhensible le meurtre de parents, puis indiquer n'avoir aucun espoir pour les parents de l'ado, on est là presque dans l'incitation à la violence voire au meurtre.

Character.ai est sur la sellette après un suicide et des auto-mutilations, et les victimes semblent être de plus en plus nombreuses, et les cas de plus en plus sombres...