Openai ammette che le allucinazioni AI sono matematicamente inevitabili, non solo ingegneristica

Je vois pas comment on peut pas arriver d’ici quelque années à l’explosion de cette bulle.
Dans mon domaine de compétences je vois les énormités que l’IA peut sortir, et je me dit que des personnes vont utiliser tout cela sans remettre en question.
Ces énormités ne se verront pas tout de suite, mais elles sont déjà là, et ça peut mener à de sérieux dégâts.

Et parmi tout cela une perte importante de savoir faire, une baisse des capacités de réflexion en profondeur et d’esprit critique.

L’IA sait compiler mais pas penser.

>Unlike human intelligence, it lacks the humility to acknowledge uncertainty

Si seulement… parce que de belle-maman qui arrive même pas à réciter son complot correctement et en invente de nouveaux involontairement au médecin bac+10 qui fait partie de l’élite de la société qui te dit “c’est dans votre tête je vous recommande un psy” plutôt que “je ne sais pas” ou “on a rien trouvé de concluant” c’est pas les exemples qui manquent !!

Pour avoir fait ma spé dans l’IA cet article est irritant tellement faudrait faire 50 paragraphes sur chaque ligne pour expliquer pourquoi c’est pas aussi simple. Ca fait de jolis titres mais ça n’a pas beaucoup plus de valeur.

> Unlike human intelligence, it lacks the humility to acknowledge uncertainty

Ah oui les humains sont tellement prompts à dire qu’ils savent pas!

Si je dois faire court: c’est possible de faire des IA différemment. C’est possible de faire des IA qui disent qu’elles savent pas, ou qui sourcent chaque propos, ou qui sont même incapables de dire quelque chose de faux conformément à une base prédéfinie de choses considérées comme vraies par les concepteurs. Tout ça limite les IA et est complexe, et les ingénieurs ne veulent pas limiter les IA, donc ça n’est pas fait. Ya pas d’impossibilité à grand chose, ce qui compte c’est ce qu’on veut faire et sur quoi on met les moyens. Si demain je vais voir un financeur pour dire “hé je peux faire une IA qui va uniquement dire des choses considérées comme vraie d’après une base prédéfinie mais qui ne saura pas répondre au 3/4 des questions parce qu’elle n’est pas sûre”, bah j’aurai pas la tune (ou si je l’ai mes MPs sont ouverts hein, 1m et je vous le fait). Ca n’intéresse pas, les consommateurs veulent ce fantasme d’IA qui répond à tout de façon certaine et c’est ça qu’on leur donne. Et tbh même moi en tant que consommateur je préfère qu’une IA me dise de la daube parce que je sais très bien qu’elle me dira de la daube et je préfère voir son hallucination qui m’indique comment elle fonctionne qu’un message générique disant “je sais pas”.

Mathématiquement, halluciner signifie juste sortir de la variété (manifold) correspondant aux données que l’on cherche à générer. En nommant Y cet espace, ça veut dire qu’on ne sait pas trouver de fonction f: X -> Y i.e. pour tout x dans X, f(x) est dans Y. Ces f(x) qui ne sont pas dans Y, ce sont les hallucinations. Mais souvent, tout ce que ça veut dire c’est qu’on ne sait pas définir Y (par exemple, parce qu’on n’en connaît qu’un sous-ensemble fini : le dataset d’entraînement).

Avec les modèles génératifs, on a trop mis la charrue avant les boeufs à essayer de trouver f avant de se poser la question de la tête que doit avoir Y. On cherche une transformation de X en Y, mais on ne sait même pas quelle forme à Y. Le problème était plus explicite avec les GANs il y a quelques années, parce que le discriminateur servait explicitement à estimer si f(x) appartenant à Y ou non.

Bref, le problème est pas nécessairement insoluble, mais il le restera tant qu’on se posera la question “Comment générer une image de chat” avant de répondre à “C’est quoi une image de chat ?” Mais forcément, c’est pas une question aussi bankable.