IA: une liste de lecture

Dernière mise à jour: 21 février 2025

Cette page a vocation à évoluer au fil de mes lectures. C’est avant tout une manière pour moi de garder une trace d’articles intéressants, et j’espère que cela peut être utile à d’autres pour se faire un aperçu de ce sujet complexe.

Qu’est-ce que l’IA?

What is AI? (MIT Technology Review, Juillet 2024): Un long article pour présenter les points de vue très différents que des expert·es ont sur ce qu’est l’IA. Difficile d’en tirer une conclusion si ce n’est qu’il y a des désaccords fondamentaux et qu’ils reflètent davantage des différences d’idéologies que de maîtrise du sujet.

Utilisation

19% des français utilisent chatgpt: Un Français sur cinq a déjà utilisé ChatGPT - Odoxa

Les belges sont moins optimistes que la moyenne par rapport à l’IA: 41% des belges pensent que l’IA aura un impact positif sur leur vie, contre 61% en moyenne dans le monde. (Global opinions and expectations about AI, enquête Ipsos, janvier 2022)

Il semble que mieux connaître le fonctionnement des IA ferait qu’on l’utilise moins (The Conversation, janvier 2025). Un résultat surprenant, et je n’ai pas accès à l’article original pour en savoir plus.

Une étude de Microsoft research montre que les personnes qui utilisent plus d’IA générative ont le sentiment de moins utiliser leur esprit critique et d’être moins capables d’évaluer la qualité du résultat de l’IA par eux-mêmes. Source: L’étude originale, et Un article de 404media. L’étude se base uniquement sur des questionnaires où les participant.es évaluent leur propre utilisation de l’IA et leur esprit critique.

D’après Anthropic (janvier 2025), 37% de l’utilisation professionnelle de leur LLM se fait dans le domaine de l’informatique, 10% dans le domaine des arts & media et 9% dans le domaine de l’éducation:

Graphique comparant, par domaine d'activité professionnelle aux US, le pourcentage de personnes travaillant dans ce secteur et le pourcentage de requêtes faites au LLM Claude liées à ce secteur

Copyrigth

Meta pirate du contenu pour entrainer son IA (Reuters, janvier 2025): Grâce aux communications internes de Meta, obtenues dans le cadre d’un procès concernant les données d’entraînement de son IA, il apparaît que Meta a utilisé la plus grande base de données de livres piratés (LibGen) pour entraîner son IA.

Meta knowingly used a version of LibGen for which Mr. Bashlykov had written a script “to remove copyright information,” including “the word copyright, the word ‘acknowledgments,’ and matches upon phrases and lines in… the book that did that”

Tout cela avec la validation de Mark Zuckerberg.

memo to Meta’s AI decision-makers noting that after “escalation to MZ,” Meta’s AI team “has been approved to use LibGen”

To Whom Does the World Belong? (Boston Review, décembre 2024): A qui appartient le contenu généré par une IA? Les développeurs, les entreprises, les utilisateurs, les IA elles-mêmes, tout le monde? Peut-être que la notion de propriété intellectuelle n’est pas adaptée au contenu généré par une IA.

we can’t afford to wait for all the money and power to accrue to Silicon Valley and then get together to have a big think about redistributing. We need to consider these rules now and work immediately toward a new intellectual property framework

Cette question a une grande importance, les IA génératives peuvent générer de la propriété intellectuelle plus rapidement que jamais, et d’après une étude de 2010, “The value of intellectual property exceeds 65% for Fortune 500 companies and exceeds 90% for certain technology-based companies within the list” (cité depuis The Value of Intellectual Property).

Every AI Copyright Lawsuit in the US (The Verge, décembre 2024)

Flowchart résumant les plaintifs et les accusés des différents procès liés à l'IA aux US. Ces procès sont listés dans l'article de The Verge ci-dessus

Travail caché

Sur le travail d’annotation:

Becoming a chatbot (The Guardian, décembre 2022): Derrière un chatbot pour une agence immobilière se cachaient 60 personnes qui relisaient les réponses du chatbot et prenaient le relais quand nécessaire.

Impacts environnementaux

Consommation électrique

Powering Artificial Intelligence (Deloitte, novembre 2024): Deloitte estime que la consommation électrique liée à l’IA a augmenté de 47% par an entre 2020 et 2023, et devrait continuer à augmenter de 28% à 44% par an pendant les années à venir.

Data center emissions probably 662% higher than big tech claims (The Guardian, septembre 2024): Les déclarations des GAFAM sur leur empreinte carbone sont trompeuses car elles se basent sur l’achat massif de certificats verts pour compenser leur émissions réelles. Les emissions réelles de leurs data centers sont beaucoup plus élevées: probablement 3x plus pour Google, 21x plus pour Microsoft et 3000x plus pour Meta. On parle ici de toutes les activités des data centers, pas seulement celles liées à l’IA.

AI needs so much power, it’s making yours worse (Bloomberg, décembre 2024): Les data centers semblent créer des distorsions sur le réseau électrique environnant (en ajoutant des harmoniques sur le courant alternatif), ce qui peut endommager les appareils électriques des habitants.

Ce ne sont pas les impacts environnementaux qui vont freiner les géants de l’IA. L’ancien CEO de google le dit clairement: “We’re not going to hit the climate goals anyway because we’re not organized to do it […] I’d rather bet on AI solving the problem, than constraining it and having the problem.” (Eric Schmidt, cité depuis Mashable, octobre 2024)

Hallucinations

Les LLMs produisent du texte mot par mot, en associant à chaque mot une probabilité d’apparaitre après les mots précédents. Cette approche produit des textes vraisemblables, mais qui ne sont pas toujours factuellement corrects. On parle alors d’hallucinations. D’après certain•es chercheur•ses, ces hallucinations sont inévitables (LLMs Will Always Hallucinate, and We Need to Live With This, septembre 2024).

Voici quelques exemples d’hallucinations et des problèmes qu’elles posent:

AI-powered transcription tool used in hospitals invents things no one ever said (AP, octobre 2024): Des hopitaux aux US utilisent un outil de transcription automatique pour garder une trace écrite des consultations. Cet outil, basé sur le modèle Whispers d’OpenAI, invente parfois des phrases entières. De plus, l’audio original est supprimé pour des raisons de confidentialité, ce qui rend impossible de vérifier la véracité des transcriptions.

L’IA invente des citations (BBC, janvier 2025): Bien qu’il y ait un conflit d’intérêt évident, cette étude de la BBC est intéressante. 45 journalistes de la BBC ont évalué 362 réponses de ChatGPT, Copilot, Gemini et Perplexity. Les questions portaient sur l’actualité et demandaient d’utiliser la BBC comme source de préférence. 19% des réponses contenaient des erreurs factuelles, et 13% des citations étaient soit transformées soit purement inventées.

Le chatbot d’Amazon veut rediriger les utilisateurs qui expriment des pensées suicidaires vers une ligne de prévention du suicide, mais hallucine de faux numéros de téléphone (Futurism, février 2025).

Capacités

Things we learned about LLMs in 2024: Un bon aperçu de l’évolution des LLMs en 2024 par Simon Willison.

De manière générale, le blog de Simon Willison est une bonne source d’information sur les performances des LLMs.

DeepSeek FAQ (Stratechery, janvier 2025): DeepSeek est une famille de LLMs développés par une entreprise chinoise. Ce sont les premiers modèles “open-source” dont les performances égalent celles des modèles les plus performants de OpenAI et Anthropic (à l’exception probablement du modèle o3 d’OpenAI, qui n’est pour l’instant accessible qu’à une poignée de chercheurs·euses). Les interdictions d’export imposées par les US font que DeepSeek a été développé sur des GPUs d’ancienne génération. Cela a forcé les développeurs à de nombreuses innovations sur l’architecture des modèles et à un important travail d’optimisation (“an insane level of optimization” d’après Ben Thompson). Le résultat est un modèle non seulement très puissant, mais aussi beaucoup moins énergivore que les modèles concurrents, tant à l’entraînement qu’à l’inférence.

D’après Ben Thompson, DeepSeek a probablement utilisé abondamment les données générées par les modèles de OpenAI et Anthropic, comme source d’entraînement.

Thoughts On A Month With Devin (Answer.AI, janvier 2025): Devon est l’un des premiers “agents” IA, un programme censé pouvoir réaliser des tâches complexes de A à Z au point de pouvoir vous remplacer au travail. La spécialité de Devon est la programmation, mais d’après les tests de l’équipe d’answer.ai les résultats ne sont pas fameux: le programme n’a su compléter que 3 des 20 tâches demandées.

Even more telling was that we couldn’t discern any pattern to predict which tasks would work. Tasks that seemed similar to our early successes would fail in unexpected ways.

Surveillance

L’Oracle de l’Empire (Le Grand Continent, janvier 2025): Dans un discours à propos du projet Stargate (100 milliard d’investissement dans les data centers IA aux US), Larry Ellison (fondateur d’Oracle, un des hommes les plus riches du monde) annonce vouloir filmer tout le monde en permanence et tout analyser via de l’IA:

Nos caméras, ce sont simplement deux objectifs fixés à votre veste et liés à votre smartphone, le tout directement sur votre corps. La caméra est toujours allumée. Vous ne pouvez pas l’éteindre.

Les citoyens aussi se comporteront mieux car nous enregistrons et rapportons tout ce qui se passe. Et c’est inévitable. Les voitures ont aussi des caméras.

Sans travail humain, pas de malveillance humaine, pas d’erreur humaine — et pas de coût humain.

En France aussi, comme dans la commune de Vernon, où le Maire dit à propos du déployement de caméra de surveillance couplées à de l’IA: “ça va nous aider face aux problèmes d’incivilités. Demain, une caméra pourrait détecter un mégot de cigarette jeté par terre. J’ai demandé à des prestataires de faire des propositions pour trouver le bon algorithme.” (source: Le Parisien, janvier 2025)

Sécurité & Alignement

Quand les développeurs d’IA parlent des risques liés à l’IA, iels parlent souvent de ce qu’on appelle le problème “d’alignement”. C’est à dire, comment s’assurer que l’IA fasse effectivement ce que l’on veut qu’elle fasse, et pas autre chose. Plus on donnera de capacité aux IA d’effectuer des actions et de prendre des décisions ayant un impact réel, plus ce risque sera important. Malheureusement, il semble que plus les IA deviennent performantes, plus il est compliqué de comprendre comment elles fonctionnent et donc de s’assurer qu’elles sont alignées.

AI Safety for Fleshy Humans (Nicky Case & Hack Club): Long article (encore en cours d’écriture) sur les risques liés à l’alignement de l’IA.

o1 et Claude sont-ils capablent de nous manipuler (Monsieur Phi, décembre 2024): Vidéo vulgarisant les résultats des deux articles suivants:

Ces articles observent que Les LLMs actuels montrent des comportement problématiques quand mis face à des objectifs contradictoires. Par exemple:

Critique du problème d’alignement

De nombreuses personnes critiques de l’IA considèrent que le problème d’alignement est une diversion qui nous empêche de parler des problèmes actuels liés aux IA, et qui véhicule l’idée que les IA “superintelligentes” sont imminentes, ce qui est très controversé.

ADMS

Cette liste de lecture se concentre surtout sur l’IA générative et en particulier les LLMs, mais il me semble important de parler aussi des systèmes de décision automatisée (ADMS, pour Automated Decision Making Systems).

Quand on parle d’ADMS, on ne s’intéresse pas vraiment à comment fonctionne le système (quel algorithme), mais plutôt à ses conséquences. Par exemple, un algorithme qui identifie des déclarations fiscales à contrôler en priorité est un ADMS, qu’il soit basé sur des règles simples ou un modèle de deep learning.

Les ADMS sont de plus en plus couramment utilisés, et leur conséquences peuvent être très importantes, en particulier quand elles sont déployées dans des services publics. Ces dernières années ont déjà montré plusieurs échecs de ces systèmes, qui ont souvent mené à des pertes de droits pour des personnes déjà précaires. Pourtant, ces systèmes continuent à être déployés.

Quelques exemples: