Réseaux neuronaux et créativité - Page 28

C’est la second option.

Un LLM est une chaîne de markov au stéroïdes

C’est un outil de prédiction du prochain token, rien de plus. Pas d’intelligence, pas de réflexion. Pas de « bon en avant ».

C’est 100% bullshit tout comme fable et mythos sont « trop puissant » pour mettre dans toutes les mains.

Il y a beaucoup de bullshit grandiloquent de la part des vendeurs d'IA, oui.

Ceci étant dit, j'ai quand même l'impression que pour ce qui est de repérer des patterns de vulnérabilités dans le code (sous réserve qu'il y ait des gens compétents derrière pour trier le vrai du faux), ça semble plus efficace que les outils qui étaient utilisés avant. Exemple récent :
Brunni > il ne faut pas oublier que les vendeurs d'IA crament des quantités d'argent absolument délirantes parce que pour le moment, l'heure de la rentabilité n'a pas encore sonné. Plein de choses sont faisables dans l'absolu avec de la force brute, elles sont justes inabordables en temps normal parce que ça n'a pas de sens sur le plan économique.

Oui, j'ai beaucoup de mal à croire ces boîtes qui disent que leurs développeurs ne codent plus *du tout*.

C'est peut-être vrai au pied de la lettre, à savoir qu'ils ne font plus que de la revue de code et demandent à leur agent IA de corriger ce qui ne va pas. Ça fonctionne à force d'itérations, en revanche je ne suis pas convaincu que ce soit vraiment un gain de temps si tu veux arriver au même résultat. Si quelque chose d'à peu près correct te convient en revanche, c'est sûr que c'est très rapide.

Zero: ce n’est que de la recherche de pattern, et c’est plus lié à la quantité de contexte que tu peux donner au réseau qu’autre chose.

Le seul problème avec ces réseau hyper large question contexte, ils divergent très très rapidement parce qu’il ne peuvent pas faire de vrai discrimination sur ce qui est important et ce qui ne l’est pas.

C’est assez fascinant de voir ces réseaux “perdre la tête”

Zeph (./814) :
C'est peut-être vrai au pied de la lettre, à savoir qu'ils ne font plus que de la revue de code et demandent à leur agent IA de corriger ce qui ne va pas. Ça fonctionne à force d'itérations, en revanche je ne suis pas convaincu que ce soit vraiment un gain de temps si tu veux arriver au même résultat.

Je me demande à quel point c'est envisageable de ne faire que de la relecture de code sur le long terme, sans jamais coder.

Si quelque chose d'à peu près correct te convient en revanche, c'est sûr que c'est très rapide.

Oui, pour un projet relativement simple, je suis d'accord. Je suis beaucoup plus dubitatif sur des gros projets, notamment sur la capacité à factoriser… et encore plus dubitatif sur la capacité à factoriser du code à travers plusieurs projets (autrement dit, à déterminer qu'il serait pas mal de faire un framework ou une bibliothèque partagée, voire open-source).

Je ne sais pas non plus, j'ai entendu tout et son contraire de la part de gens que je trouve compétents dans leurs domaines, donc à part attendre et observer je n'ai aucune option fiable

Tout pareil. Enfin, jusqu'à présent, je n'ai pas entendu parler de projet open-source lancé spontanément par une IA.

C'est ... compliqué.

Beaucoup de choses sont a prendre en compte, et de mes tests, le model, du moment que ce n'est pas un model local avec 0.5B de parametres, est probablement le point le moins important. (pour utiliser des models locaux il faut tabler dans les 30B+, 20B minimum.

L'environement pour cadrer le LLM est le point le plus important (principalement le prompt, mais pas seulement)
Pour les systemes multi agents, le prompt et les outils a leur disposition sont aussi cruciaux.

La gestion de l'historique est probablement le point le plus important, pour eviter la divergence (aka quand un le model perds les pedales et melange les choses) et c'est critique dans uns ystem multi agents, il faut cadrer ce que chaque agent a acces, pour les agents qui ne font que des taches "simple" (coder, review, ...) il faut que leur contexte soit aussi propre que possible, et remis a zero pour chaque taches.

Pour les agents "interractif" c'est la ou c'est le plus complexe. Plus la discussion s'allonge et plus ca part dans tous les sense, plus il y a de chances que l'agent parte dans des hallucinations.


Pas mal de choses sont vraiment lié au contexte (l'historique de la conversation auquel l'agent a access pour chaque inference) mais avoir un reseau avec 1M de "token" en context ne le rends pas intrinsequement meilleur, a vrai dire, c'est probablement souvent l'inverse.

Tu as des idées de setup pour quelqu'un qui code avec VS Code?
J'utilise Cline un peu par défaut, mais j'ai jamais trop compris comment bien mettre en place l'agent.