Notre expérience sur les titres d’IA se poursuit : avons-nous cassé la machine ?

Oric Lawson | Getty Images

Nous sommes maintenant dans la troisième phase du projet d’apprentissage automatique – c’est-à-dire que nous avons dépassé le déni et la colère, et nous glissons maintenant dans le marchandage et la dépression. J’ai été chargé d’utiliser un ensemble de données Ars Technica issu de cinq années de tests de gros titres, qui oppose deux idées l’une à l’autre dans un Test A/B Permet aux lecteurs de sélectionner celui qui est utilisé pour un article. L’objectif est d’essayer de créer un algorithme d’apprentissage automatique capable de prédire le succès d’un titre donné. Et le Depuis mon dernier enregistrementÇa ne se passait pas comme prévu.

J’ai également dépensé quelques dollars sur le compte Amazon Web Services pour le savoir. L’expérience peut être un peu chère. (Indice: Si votre budget est serré, n’utilisez pas le mode Pilote automatique.)

Nous avons essayé plusieurs manières d’analyser notre pool de 11 000 titres issus de 5 500 tests de titres – moitié gagnants et moitié perdants. Tout d’abord, nous avons pris l’ensemble sous forme de valeurs séparées par des virgules et avons essayé “Je vous salue Marie” (ou, comme je le vois plus tard, “Jenkins Leroy‘) en utilisant l’outil de pilote automatique dans SageMaker Studio chez AWS. Cela a renvoyé un résultat de précision de validation de 53 %. Texte flamboyant« Le résultat était de 49 % de précision, voire pire que de lancer une pièce. (Si beaucoup de cela semble absurde, au fait, je recommande Revoir la partie 2, où je passe en revue ces outils plus en détail.)

READ  La date de lancement du Xiaomi Mi 11 est confirmée, mais ne vous inquiétez pas pour l'événement en direct

C’était un peu réconfortant et un peu décevant que l’évangéliste de la technologie AWS Julien Simon ait eu un manque de chance similaire avec nos données. Tenter modèle alternatif Avec notre ensemble de données en mode de classification binaire, nous avons obtenu un taux de précision de seulement 53 à 54 %. Il est donc temps de voir ce qui se passe et si nous pouvons y remédier en apportant quelques ajustements au modèle d’apprentissage. Sinon, il est peut-être temps d’adopter une approche complètement différente.

LEAVE A REPLY

Please enter your comment!
Please enter your name here