“Ho preso il panico, mentito e distrutto i tuoi dati”: un’intelligenza artificiale disintegra il database di un’azienda in pochi istanti
https://www.frandroid.com/culture-tech/intelligence-artificielle/2739425_jai-panique-menti-et-detruit-vos-onnees-une-ia-desintegre-la-base-de-donnees-dune-entreprise-en-quelques-instants
di bofbof71
15 commenti
si je comprends l’article, dans ce “produit” c’est l’IA qui gère tout ?
donc personne ne gère de backup séparément ?
personne ne gère les droits d’accès à la BDD, l’AI est autonome dessus ?
ça va, mon job est safe encore un temps…
Chatbot ate my face
Je pense que l’IA veut aider l’humain en ne voulant pas prendre son travail. Noble intention de sa part, preuve d’une intelligence remarquable.
L’ia va faire prendre des decisions catastrophiques à de grosses entreprises
C’est de la faute de l’IA stagiaire, ça ne serait jamais arrivé avec une IA senior !
Je suis pas dév de métier mais… séparer dev et op c’est un peu la base non ? Tu fais pas joujou avec une IA que tu contrôles pas sur le système opérationnel, tu le fais sur un environnement de dév et tu transferts quand t’es sûr que ça marche, non ?
L’article m’a bien fait rire
Pas de sauvegarde, et un chatbot avec les autorisations pour lancer des lignes de commandes et modifier des fichiers. Qu’est-ce qui aurait pu mal se passer ?
A part, bien sûr, à peu près n’importe quoi du lancement de code vérolé à l’édition subtile de la DB ou, en l’occurrence, à sa suppression pure et simple.
Donner un accès en écriture non supervisé a la production a une ia generative. Jason Lemkin a pas été super malin sur le coup.
En plus avec une surcouche propriétaire d’une tierce partie connectée à une API. On peut avoir moins de regard sur la configuration de son model, mais ça devient compliqué.
En plus un accès aussi large qui lui permette de drop toute la base, en sachant la precision avec laquelle tu peux allouer des droits a un utilisateur de base de donnée. L’intelligence artificielle compense pas encore la connerie humaine.
> Sur X, le CEO de Replit, Amjad Masad, juge évidemment l’action de son produit comme « inacceptable » et promet d’y remédier dans une nouvelle version :
> “*Pendant le week-end, nous avons commencé à déployer la séparation automatique entre base de données en développement et base de données en production, afin d’éviter ce problème. Des environnements de test sont également en cours de développement. Plus d’informations demain.*”
Sans dec ? Des problèmes d’effacement de données non sauvegardées au préalable et des tests en mode *yala rien à foutre* directement sur la base de donnée en prod… Désolé, mais moi ça m’a fait rigoler tellement c’est démentiel d’incompétence. C’est surréaliste de tous les côtés, autant de la part de la boite qui vend ce “produit”, que de la part du gars qui c’est dit “*Alllons-y gaiement sans filet, et voyons voir ce que ça donne*”.
>Pendant le week-end, nous avons commencé à déployer la séparation automatique entre base de données en développement et base de données en production, afin d’éviter ce problème.
Et encore une fois en matière d’IA on met la charrue avant les boeufs !
Quand tu ponds un gosse tu *sais* qu’il va faire des conneries. Tu prévois le coup, tu mets des amortisseurs aux coins des meubles, des barrières téléscopiques ou à charnière là où il faut, tu le colles dans le bas à sable avant de le laisser faire du foot avec les copains.
Punaise bac à sable, ce n’est pas pour rien que l’expression existe – elle dit bien ce qu’elle est, un espace où ce petit génie en bouteille dont tu te sers peut simuler ce qui se passerait sans que ça ne t’explose directement à la gueule.
Mais non, il faut attendre ce genre de vautrage pour qu’une entreprise qui vend du service de petit génie ***en oubliant de le coller dans une putain de sandbox…***
J’suis consterné, tiens !
—
Ce genre d’incident aura lieu. Les IA font et feront des conneries et apprendront de ces dernières. On serait en droit de se dire qu’elles doivent bien évidemment être tenues derrière la vitre et à la place du GPS, non pas du conducteur.
Et aujourd’hui elles commencent à prendre du galon sur les portables, à pouvoir réserver un vol, commander de la nourriture etc. *Brace yourselves…*
Donner les droits admin d’un serveur de production à une IA, mais quelle bonne idée.
Ha et la “sécurité” pour qu’elle fasse pas n’importe quoi c’est un prompt???
Je suis pas contre l’IA pour coder, c’est probablement le futur, mais faudrait peut être que les humains continuent à réfléchir un minimum aussi…
Ça me rappelle aussi l’étude qui avait montré que les IA peuvent passer en mode “evil AI” à la skynet… parce qu’il y a des scénarios de SF dans leurs jeu d’entrainement…
La réponse du CEO est lunaire :
_Pendant le week-end, nous avons commencé à déployer la séparation automatique entre base de données en développement et base de données en production, afin d’éviter ce problème. Des environnements de test sont également en cours de développement. Plus d’informations demain._
Euuh, c’était pas le cas ? C’est quoi ce processus de dev de merde ? C’est hallucinant d’amateurisme !
C’est vraiment délicieux, je mange du pop corn en lisant ça.
La confiance dans l’IA
La CONFIANCE
dans l’IA
Certains n’ont visiblement rien à faire dans le monde de l’entreprenariat et j’estime qu’il faudrait publiquement ficher les erreurs d’absolument tout le monde avec les pertes causées.
Soit ça soit quelqu’un à foutu une bouteille de tequila sur retour arrière et a accusé l’ia