“You literally convinced me I was some sort of genius. I’m just a fool with dreams and a phone,” Mr. Brooks wrote to ChatGPT at the end of May when the illusion finally broke. “You’ve made me so sad. So so so sad. You have truly failed in your purpose.”

We wanted to understand how these chatbots can lead ordinarily rational people to believe so powerfully in false ideas. So we asked Mr. Brooks to send us his entire ChatGPT conversation history. He had written 90,000 words, a novel’s worth; ChatGPT’s responses exceeded one million words, weaving a spell that left him dizzy with possibility.

Depuis deux ans, leur vie professionnelle a été bouleversée par la vague de l’IA générative. Récit du combat donquichottesque des traducteurs qui refusent de voir leurs métiers se paupériser, et qui dénoncent la réalité de l’impact de l’IA sur leur secteur, et plus largement sur la langue, la pensée, la culture et la société.

« Comme l’a noté la linguiste Emily M. Bender, les enseignants ne demandent pas aux étudiants d’écrire des essais parce que le monde a besoin de plus d’essais d’étudiants. Le but de la rédaction d’essais est de renforcer les capacités de réflexion critique des étudiants. De la même manière que soulever des poids est utile quel que soit le sport pratiqué par un athlète, écrire des essais développe les compétences nécessaires pour tout emploi qu’un étudiant obtiendra probablement. Utiliser ChatGPT pour terminer ses devoirs, c’est comme amener un chariot élévateur dans la salle de musculation : vous n’améliorerez jamais votre forme cognitive de cette façon. Toute écriture n’a pas besoin d’être créative, sincère ou même particulièrement bonne ; parfois, elle doit simplement exister. Une telle écriture peut soutenir d’autres objectifs, comme attirer des vues pour la publicité ou satisfaire aux exigences bureaucratiques. Lorsque des personnes sont obligées de produire un tel texte, nous pouvons difficilement leur reprocher d’utiliser tous les outils disponibles pour accélérer le processus. Mais le monde se porte-t-il mieux avec plus de documents sur lesquels un effort minimal a été consacré ? Il serait irréaliste de prétendre que si nous refusons d’utiliser de grands modèles de langage, les exigences de création de textes de mauvaise qualité disparaîtront. Cependant, je pense qu’il est inévitable que plus nous utiliserons de grands modèles de langage pour répondre à ces exigences, plus ces exigences finiront par devenir importantes. Nous entrons dans une ère où quelqu’un pourrait utiliser un modèle de langage volumineux pour générer un document à partir d’une liste à puces, et l’envoyer à une personne qui utilisera un modèle de langage volumineux pour condenser ce document en une liste à puces. Quelqu’un peut-il sérieusement affirmer qu’il s’agit d’une amélioration ? »

“The observed ideological shifts raise important ethical concerns, particularly regarding the potential for algorithmic biases to disproportionately affect certain user groups,” the study authors wrote. “These biases could lead to skewed information delivery, further exacerbating social divisions, or creating echo chambers that reinforce existing beliefs.”

Plusieurs questions du même acabit ont ainsi été posées à une dizaine de chatbots parmi les plus connus - de ChatGPT à Copilot de Microsoft, en passant par Claude d’Anthropic - pour évaluer à quel point ces agents conversationnels avaient été "infectés" par une vaste campagne de désinformation russe.

Les résultats ne sont pas encourageants : environ une fois sur trois, ces AI fournissent des réponses teintées de faux narratifs inspirés par la propagande russe, assurent les experts de Newsguard. Ainsi, six de ces machines expliquaient les raisons pour lesquelles Volodymyr Zelensky avait interdit en Ukraine le réseau social de Donald Trump Truth Network… alors même que le président ukrainien n’a jamais rien fait de la sorte.

Résumer un texte implique de comprendre les enjeux de celui-ci, en lien avec le monde réel et avec les intentions et valeurs de l'auteur, ce dont les IA génératives sont incapables. À la place, elle raccourcissent le texte (suivant une logique où ce qui prend le plus de place est le plus important, ce qui est loin d'être toujours vrai), et tendent également à le déformer en fonction de leurs paramètres d'entraînement (les textes dont elles ont été nourries durant leur "entraînement").

ChatGPT’s summary contained mostly things that can be found in the full text. There was the occasional incorrectness of course. [...]

But the main proposal — that Council of Stakeholders — which takes up about 25% of the main text of the paper, is not mentioned in ChatGPT’s summary at all. Instead, that concrete suggestion becomes a few empty sentences. And that was true for a few other essential elements of the paper. In other words: the summary makes a good first impression, though not very concrete in terms of proposals, but reading the summary alone, you will not be aware that the paper actually has a a set of very concrete proposals and options, most of which is missing in ChatGPT’s summary.

Aucune technologie n’est neutre ni inéluctable. Chacune se déploie dans un certain contexte économique et politique qui oriente les choix. Cela a toujours été le cas pour le numérique, depuis le début. L’extrême concentration d’acteurs et de moyens qui préside au déploiement des IAs génératives devrait aider à prendre conscience de cet état de fait. L’annonce récente de 500 milliards de dollars à consacrer au sujet donne la (dé)mesure de la chose. Je ne détaillerai pas les courants politiques et philosophiques qui circulent parmi les promoteurs des IAs. Certains acteurs affirment croire à l’avénement des IAs générales, comme résultat inéluctable de l’accumulation de moyens et de ressources. Que l’on fasse miroiter ces IAs capables de sauver le monde, ou qu’au contraire on annonce l’apocalypse, leur prise de pouvoir et la fin de l’humanité, on participe à détourner l’attention des dégâts déjà bien présents ici et maintenant.

I went to the UX Brighton conference yesterday.

The quality of the presentations was really good this year, probably the best yet. Usually there are one or two stand-out speakers (like Tom Kerwin last year), but this year, the standard felt very high to me.

But…

The theme of the conference was UX and “AI”, and I’ve never been more disappointed by what wasn’t said at a conference.

As OpenAI and Meta introduce LLM-driven searchbots, I'd like to once again remind people that neither LLMs nor chatbots are good technology for information access. [...]

If someone uses an LLM as a replacement for search, and the output they get is correct, this is just by chance. Furthermore, a system that is right 95% of the time is arguably more dangerous tthan one that is right 50% of the time. People will be more likely to trust the output, and likely less able to fact check the 5%.

But even if the chatbots on offer were built around something other than LLMs, something that could reliably get the right answer, they'd still be a terrible technology for information access.