ZerosquareLe 08/01/2025 à 01:08
Pas encore regardé la vidéo, mais :
...j'ai parcouru les commentaires, et l'argument a l'air intéressant :
- pour les images et la musique, les AI génératrices sont entraînées avec du contenu qui est majoritairement compressé avec pertes (JPEG, MP3)
- comme la stratégie générale consiste à maximiser la quantité de données utilisées pour l'entraînement, indépendamment de leur qualité, une bonne partie des données contiennent des artefacts de compression non négligeables
- mais les modèles ne font pas la différence entre un signal utile et un artefact, donc "apprennent" à générer des pseudo-artefacts en même temps qu'ils apprennent à générer du signal
Conséquences :
- ce qui sort de ces modèles contient déjà des pseudo-artefacts, même si la sortie n'a jamais été compressée (c'est déjà embêtant)
- mais surtout, ces pseudo-artefacts sont différentiables de ceux qui sont générés par une compression ordinaire, donc c'est un moyen d'identifier les images et musiques générées par AI
- et si les futurs modèles sont (involontairement) entraînés avec la sortie des modèles précédents, ça ne fera qu'accentuer davantage le phénomène
Je trouve ça très intéressant, et rétrospectivement c'est tout-à-fait logique, mais c'est une impasse des méthodes actuelles.
(Après, si j'en crois le titre, il utilise une AI comme détecteur, donc on aura droit à la course aux armements habituelle : ça sera utilisé comme contrainte pour l'entraînement des futurs modèles de façon à passer sous le radar, etc.)