Large language models work the same way as a carnival psychic. Chatbots look smart by the Barnum Effect — which is where you read what’s actually a generic statement about people and you take it as being personally about you. The only intelligence there is yours.

This is how people fall for chatbot girlfriends. They know it’s a bot, but they fall in love with the personality they’ve projected onto the generic statement generator.

There’s a book on this — Hooked: How to Build Habit-Forming Products by Nir Eyal, from 2014. This is the how-to on getting people addicted to your mobile app.

Un article de Ars Technica qui explore (nombreux exemples à l'appui) les capacités assez impressionnantes de Veo 3, le dernier modèle d'IA générative de vidéos dévoilé par Google.

Quelques remarques :

• Bien sûr on pense immédiatement à la capacité de ces outils pour produire des fake news et par conséquent contribuer à la désinformation. Mais l'effet plus délétère et inquiétant est peut-être indirect : lorsque le grand public s'habitue à ne plus rien croire (pour éviter de se faire avoir notamment par ce genre de vidéos), notre capacité collective à communiquer et informer est remise en question de manière fondamentale. Quelque part cela rappelle la fameuse stratégie de Steve Bannon pour détruire la démocratie : flood the zone with shit, "inonder la zone avec de la merde" pour lui ôter toute valeur et la rendre inutilisable.
• Je pense quand même qu'il y a une différence entre le fait d'être simple spectateur de ce genre de vidéo (on est facilement bluffé par le résultat) et le fait de produire celle-ci. Les quelques expériences que j'en ai faites (sur d'autres outils du même genre, certes moins sophistiqués mais qui reposent sur les mêmes bases) m'ont surtout fait prendre conscience que quand on a une intention créatrice en tête, il est très difficile de contrôler l'algorithme pour qu'il fasse réellement ce qu'on veut. Face à la qualité un peu "magique" de ces interfaces conversationnelles auxquelles on peut communiquer des instructions comme si on parlait (écrivait) à un humain, il est facile d'oublier que le langage est un outil hautement conceptuel, qui repose sur l'abstraction, et qui appauvrit fondamentalement la réalité qu'il décrit. C'est très efficace pour communiquer entre humains qui ont la même compréhension viscérale et intuitive du réel, mais probablement pas aussi adapté pour un outil qu'on aimerait contrôler précisément. Un artiste maître de son art sera incomparablement plus précis pour obtenir le résultat qu'il souhaite avec son pinceau, que n'importe quel "prompt engineer" avec une IA.
• Comme l'écrit Tante sur Mastodon (source 1 et source 2) : les IA génératives nous poussent imperceptiblement à baisser nos standards pour nous convaincre que ce qu'elles produisent correspond à ce qu'on voulait.
• En d'autres termes, l'IA n'est pas un outil de création comparable à un crayon, une machine à écrire, ou même à un logiciel informatique de 3D traditionnelle, par exemple. Créer avec une IA s'apparente plus à demander à un artiste de créer quelque chose pour nous. Quelqu'un qui dirait "je suis un créateur parce que j'ai dû trouver les bons mots pour demander à tel artiste de me peindre un tableau" ne serait pas pris très au sérieux...
• La comparaison est d'ailleurs d'autant plus pertinente que l'IA doit effectivement vampiriser le travail des artistes (généralement de manière non-consensuelle) pour pouvoir créer quelque chose; l'IA constitue donc une sorte d'interface entre l'utilisateur et l'ensemble des artistes humains qui ont servi à l'entraîner, artistes dont les travaux ont été mélangés et anonymisés dans un immense modèle statistique. Quand on demande à une IA de créer une image, on demande indirectement à des artistes de la créer... Sauf que leur travail a été fait en amont, qu'ils ne sont pas crédités ni payés, et que le résultat contribue à dévaloriser leur activité.
• Pour impressionnantes qu'elles soient, ces vidéos restent toujours très lisses. Comme l'article le souligne, c'est le résultat du principe fondamental de ce genre de modèle, dont les capacités de production sont conditionnées par le matériel sur lequel il a été entraîné. Le résultat sera toujours dans une certaine "moyenne" des données d'entraînement.

The verdict is in: OpenAI's newest and most capable traditional AI model, GPT-4.5, is big, expensive, and slow, providing marginally better performance than GPT-4o at 30x the cost for input and 15x the cost for output. The new model seems to prove that longstanding rumors of diminishing returns in training unsupervised-learning LLMs were correct and that the so-called "scaling laws" cited by many for years have possibly met their natural end.

"We're in the very early days looking at this problem from an ecosystem level," Larson told The Register. "It's difficult, and likely impossible, to quantify how many attempted installs are happening because of LLM hallucinations without more transparency from LLM providers. Users of LLM generated code, packages, and information should be double-checking LLM outputs against reality before putting any of that information into operation, otherwise there can be real-world consequences."

[...]

"Even worse, when you Google one of these slop-squatted package names, you’ll often get an AI-generated summary from Google itself confidently praising the package, saying it’s useful, stable, well-maintained. But it’s just parroting the package’s own README, no skepticism, no context. To a developer in a rush, it gives a false sense of legitimacy.

Quoi de plus neutre, dit-on, qu’un ordinateur ? Erreur : derrière leurs verdicts froids, algorithmes et automates encapsulent tous les biais des humains qui les conçoivent. Basée sur le modèle de l’individu calculateur, héritière d’une histoire tissée de choix idéologiques, l’intelligence artificielle est une machine politique. La mettre au service du bien commun implique d’abord de la déconstruire.

Meta's Llama fails this standard by withholding critical components like training data and methodology, and by limiting transparency and community modification. 

Meta's Llama models also impose licensing restrictions on its users. For example, if you have an extremely successful AI program that uses Llama code, you'll have to pay Meta to use it. That's not open source. Period.

[...] hallucination refers to the mysterious capacity of the human brain to perceive phenomena that are not present, at least not in conventional, materialist terms. By appropriating a word commonly used in psychology, psychedelics and various forms of mysticism, AI’s boosters, while acknowledging the fallibility of their machines, are simultaneously feeding the sector’s most cherished mythology: that by building these large language models, and training them on everything that we humans have written, said and represented visually, they are in the process of birthing an animate intelligence on the cusp of sparking an evolutionary leap for our species.

Plusieurs questions du même acabit ont ainsi été posées à une dizaine de chatbots parmi les plus connus - de ChatGPT à Copilot de Microsoft, en passant par Claude d’Anthropic - pour évaluer à quel point ces agents conversationnels avaient été "infectés" par une vaste campagne de désinformation russe.

Les résultats ne sont pas encourageants : environ une fois sur trois, ces AI fournissent des réponses teintées de faux narratifs inspirés par la propagande russe, assurent les experts de Newsguard. Ainsi, six de ces machines expliquaient les raisons pour lesquelles Volodymyr Zelensky avait interdit en Ukraine le réseau social de Donald Trump Truth Network… alors même que le président ukrainien n’a jamais rien fait de la sorte.

Lost in the spectacle of billionaires catfighting on decaying social media platforms is something mildly more consequential: the firesale of America - and the world's - future. While we obsess over Musk's bloviations and Altman's careful rebuttals, the actual mechanisms of AI power are being divided up among a handful of private entities, operated by oligarchs and funded by overseas interests, with the blessing of an Autocrat.

[...]

Stargate isn't a battle between billionaires or a test of financial commitments. It's a preview of how power will flow in the AI age, through layers of technology, capital, and influence that would baffle the monopolists of the past. As Musk and Altman trade barbs on social media, they're actually fighting over who gets to be the new robber barons – and we're left wondering whether anyone has the will or the means to stop them. This isn't progress. It's a heist.

IA et vie privée : selon les spécialistes de la sécurité, tout n'est pas si rose et malgré le grand mixage qu'est la phase d'entraînement du modèle de données, il est tout à fait possible que des données privées soient involontairement préservées, et donc publiquement accessibles dans le modèle final.

I think most privacy experts would agree with this post so far. There are divergences of opinion when you start asking "do the benefits of AI outweigh the risks". If you ask me, the benefits are extremely over-hyped, while the harms (including, but not limited to, privacy risks) are very tangible and costly. But other privacy experts I respect are more bullish on the potentials of this technology, so I don't think there's a consensus there.

AI companies, however, do not want to carefully weigh benefits against risks. They want to sell you more AI, so they have a strong incentive to downplay the risks, and no ethical qualms doing so. So all these facts about privacy and AI… they're pretty inconvenient. AI salespeople would like it a lot if everyone — especially regulators — stayed blissfully unaware of these.

Cartographie des métiers de l'IA et son impact sur les activités humaines.

Résumer un texte implique de comprendre les enjeux de celui-ci, en lien avec le monde réel et avec les intentions et valeurs de l'auteur, ce dont les IA génératives sont incapables. À la place, elle raccourcissent le texte (suivant une logique où ce qui prend le plus de place est le plus important, ce qui est loin d'être toujours vrai), et tendent également à le déformer en fonction de leurs paramètres d'entraînement (les textes dont elles ont été nourries durant leur "entraînement").

ChatGPT’s summary contained mostly things that can be found in the full text. There was the occasional incorrectness of course. [...]

But the main proposal — that Council of Stakeholders — which takes up about 25% of the main text of the paper, is not mentioned in ChatGPT’s summary at all. Instead, that concrete suggestion becomes a few empty sentences. And that was true for a few other essential elements of the paper. In other words: the summary makes a good first impression, though not very concrete in terms of proposals, but reading the summary alone, you will not be aware that the paper actually has a a set of very concrete proposals and options, most of which is missing in ChatGPT’s summary.

Aucune technologie n’est neutre ni inéluctable. Chacune se déploie dans un certain contexte économique et politique qui oriente les choix. Cela a toujours été le cas pour le numérique, depuis le début. L’extrême concentration d’acteurs et de moyens qui préside au déploiement des IAs génératives devrait aider à prendre conscience de cet état de fait. L’annonce récente de 500 milliards de dollars à consacrer au sujet donne la (dé)mesure de la chose. Je ne détaillerai pas les courants politiques et philosophiques qui circulent parmi les promoteurs des IAs. Certains acteurs affirment croire à l’avénement des IAs générales, comme résultat inéluctable de l’accumulation de moyens et de ressources. Que l’on fasse miroiter ces IAs capables de sauver le monde, ou qu’au contraire on annonce l’apocalypse, leur prise de pouvoir et la fin de l’humanité, on participe à détourner l’attention des dégâts déjà bien présents ici et maintenant.

In his book In Our Own Image (2015), the artificial intelligence expert George Zarkadakis describes six different metaphors people have employed over the past 2,000 years to try to explain human intelligence.

In the earliest one, eventually preserved in the Bible, humans were formed from clay or dirt, which an intelligent god then infused with its spirit. That spirit ‘explained’ our intelligence – grammatically, at least.

The invention of hydraulic engineering in the 3rd century BCE led to the popularity of a hydraulic model of human intelligence, the idea that the flow of different fluids in the body – the ‘humours’ – accounted for both our physical and mental functioning. The hydraulic metaphor persisted for more than 1,600 years, handicapping medical practice all the while.

By the 1500s, automata powered by springs and gears had been devised, eventually inspiring leading thinkers such as René Descartes to assert that humans are complex machines. In the 1600s, the British philosopher Thomas Hobbes suggested that thinking arose from small mechanical motions in the brain. By the 1700s, discoveries about electricity and chemistry led to new theories of human intelligence – again, largely metaphorical in nature. In the mid-1800s, inspired by recent advances in communications, the German physicist Hermann von Helmholtz compared the brain to a telegraph.

The mathematician John von Neumann stated flatly that the function of the human nervous system is ‘prima facie digital’, drawing parallel after parallel between the components of the computing machines of the day and the components of the human brain

Each metaphor reflected the most advanced thinking of the era that spawned it. Predictably, just a few years after the dawn of computer technology in the 1940s, the brain was said to operate like a computer, with the role of physical hardware played by the brain itself and our thoughts serving as software.

AI can turn some impressive party tricks, but it's unsuited for solving serious problems in the real world. This is true of predictive AI, whose correlations are data-driven conspiracy theories, and of large language models like ChatGPT, whose plausible waffle is always trying to pull free of the facts. The real issue is not only that AI doesn't work as advertised, but the impact it will have before this becomes painfully obvious to everyone. AI is being used as form of 'shock doctrine', where the sense of urgency generated by an allegedly world-transforming technology is used as an opportunity to transform social systems without democratic debate.

[...]

Real AI isn't sci-fi but the precaritisation of jobs, the continued privatisation of everything and the erasure of actual social relations. AI is Thatcherism in computational form. Like Thatcher herself, real world AI boosts bureaucratic cruelty towards the most vulnerable. Case after case, from Australia to the Netherlands, has proven that unleashing machine learning in welfare systems amplifies injustice and the punishment of the poor. AI doesn't provide insights as it's just a giant statistical guessing game. What it does do is amplify thoughtlessness, a lack of care, and a distancing from actual consequences. The logics of ranking and superiority are buried deep in the make up of artificial intelligence; married to populist politics, it becomes another vector for deciding who is disposable.

Dans les lieux de travail, l’IA apparaît souvent de manière anodine, en étant peu à peu intégrée à des applications de travail existantes. Dans la pratique, l’automatisation remplace rarement les travailleurs, elle automatise très partiellement certaines tâches spécifiques et surtout reconfigure la façon dont les humains travaillent aux côtés des machines. Les résultats de l’IA générative nécessitent souvent beaucoup de retravail pour être exploitées. Des rédacteurs sont désormais embauchés pour réhumaniser les textes synthétiques, mais en étant moins payé que s’ils l’avaient écrit par eux-même sous prétexte qu’ils apportent moins de valeur. Les chatbots ressemblent de plus en plus aux véhicules autonomes, avec leurs centres de commandes à distance où des humains peuvent reprendre les commandes si nécessaire, et invisibilisent les effectifs pléthoriques qui leur apprennent à parler et corrigent leurs discours. La dévalorisation des humains derrière l’IA occultent bien souvent l’étendue des collaborations nécessaires à leur bon fonctionnement.

Yes, there is an economic incentive to the election of Trump by those at the commanding heights of Silicon Valley power. But to reduce it purely to materialism is missing a strong part of the story, namely about AI's own operation as an ideological apparatus which encourages power consolidation.

In a recent earnings call Sundar Pichai claimed that at Google now 25% of Code is AI generated (“and then reviewed and accepted by engineers”). In the AI boosterism parts of the web (so basically X and LinkedIn) this number was celebrated: Even Google does AI code generation. So if your whole startup is just ChatGPT in a trenchcoat, you’re basically at the industry standard, right?

Let’s not be cynical here and point at Google’s not exactly stellar recent track record when it comes to great products and software, but let’s ask us where that number comes from and what it means.

As OpenAI and Meta introduce LLM-driven searchbots, I'd like to once again remind people that neither LLMs nor chatbots are good technology for information access. [...]

If someone uses an LLM as a replacement for search, and the output they get is correct, this is just by chance. Furthermore, a system that is right 95% of the time is arguably more dangerous tthan one that is right 50% of the time. People will be more likely to trust the output, and likely less able to fact check the 5%.

But even if the chatbots on offer were built around something other than LLMs, something that could reliably get the right answer, they'd still be a terrible technology for information access.

Maybe someday Altman’s ideas about AI will prove out, but for now, his approach is textbook Silicon Valley mythmaking.

Brillant texte de Ted Chiang sur les différences fondamentales entre la création artistique telle que pratiquée par un humain et la génération de texte, d'images ou de sons par un LLM (Large Language Model).

Art is notoriously hard to define, and so are the differences between good art and bad art. But let me offer a generalization: art is something that results from making a lot of choices. This might be easiest to explain if we use fiction writing as an example. When you are writing fiction, you are—consciously or unconsciously—making a choice about almost every word you type; to oversimplify, we can imagine that a ten-thousand-word short story requires something on the order of ten thousand choices. When you give a generative-A.I. program a prompt, you are making very few choices; if you supply a hundred-word prompt, you have made on the order of a hundred choices.

Companies may unintentionally hurt their sales by including the words “artificial intelligence” when describing their offerings that use the technology, according to a study led by Washington State University researchers.

Rather than solving the problems raised by employers’ methods, however, the use of automated job-hunting only served to set off an AI arms race that has no obvious conclusion. ZipRecruiter’s quarterly New Hires Survey reported that in Q1 of this year, more than half of all applicants admitted using AI to assist their efforts. Hiring managers, flooded with more applications than ever before, took the next logical step of seeking out AI that can detect submissions forged by AI. Naturally, prospective employees responded by turning to AI that could defeat AI detectors. Employers moved on to AI that can conduct entire interviews. The applicants can cruise past this hurdle by using specialized AI assistants that provide souped-up answers to an interviewer’s questions in real time. Around and around we go, with no end in sight.

Vidéo de la chaîne YouTube Computerphile qui explore l'hypothèse (papier scientifique à l'appui) selon laquelle l'IA pourrait bientôt atteindre un plateau en terme de performances —contrairement à l'idée (très complaisante et pas du tout étayée) d'une progression linéaire illimitée, voire exponentielle.

While the star of the show might have been Nvidia Blackwell, Nvidia's latest data center processor that will likely be bought up far faster than they can ever be produced, there were a host of other AI technologies that Nvidia is working on that will be supercharged by its new hardware. All of it will likely generate enormous profits for Nvidia and its shareholders, and while I don't give financial advice, I can say that if you're an Nvidia shareholder, you were likely thilled by Sunday's keynote presentation.

For everyone else, however, all I saw was the end of the last few glaciers on Earth and the mass displacement of people that will result from the lack of drinking water; the absolutely massive disruption to the global workforce that 'digital humans' are likely to produce; and ultimately a vision for the future that centers capital-T Technology as the ultimate end goal of human civilization rather than the 8 billion humans and counting who will have to live — and a great many will die before the end — in the world these technologies will ultimately produce with absolutely no input from any of us.