Twitter révèle ses algorithmes secrets de recommandation

Elon Musk s’est vraiment surpassé ! Non seulement il a fourni le code source de l’algorithme de recommandation de Twitter, comme il l’avait promis à la mi-mars, mais il est également allé bien plus loin, en publiant des informations supplémentaires sur le fonctionnement de l’algorithme, sur le blog technologique de Twitter !




Et… Elon Musk a tenu parole ! Il a publié le code source de Twitter pour son algorithme de recommandation. C’était un grand pas et il a même dépassé les attentes, en ajoutant encore plus de fonctionnalités depuis.

Ce code est désormais accessible au public sur GitHub, et une brève description de leur raisonnement a été ajoutée au fichier. De plus, dans un billet de blog technique, ils ont détaillé le fonctionnement de l’algorithme.

Selon Twitter, les algorithmes de recommandation tentent de répondre à des questions telles que la probabilité qu’un utilisateur s’engage avec un autre utilisateur à l’avenir.
Ou comment une tendance se trouve être devenue une tendance parmi les communautés sur Twitter. Et comment tout cela vous permet d’obtenir le meilleur contenu pour votre fil d’actualité.
Twitter utilise les données de tweet, d’utilisateur et d’engagement qu’il recueille pour ne proposer que les tweets susceptibles de vous intéresser. Pour ce faire, il les classe et filtre le contenu en fonction des préférences de l’utilisateur.

Comment les choses fonctionnent selon les codes

La timeline “Pour vous” sur Twitter est alimentée par la technologie révolutionnaire Home Mixer. Cet algorithme recueille, classe et filtre les tweets pour proposer aux utilisateurs le contenu le plus pertinent et le plus approprié en fonction de leurs préférences.

Types de sources

Twitter commence généralement par afficher les tweets des personnes que vous suivez, sources dans le réseau. Puis des personnes qui ne font pas partie de votre réseau, sources hors du réseau.

Sources dans le réseau

Real Graph, un modèle conçu pour mesurer la probabilité des interactions entre les utilisateurs, détermine ce qui apparaît sur votre timeline lorsqu’il s’agit de tweets provenant du réseau. Si vous êtes plus susceptible d’interagir avec le créateur du tweet et vice versa, vous verrez davantage de ses publications.

Sources hors du réseau

Les algorithmes de Twitter hors du réseau peuvent paraître déconcertants, car ils permettent d’identifier des contenus pertinents pour les utilisateurs, sans avoir à suivre d’autres comptes.

Twitter utilise son graphe social pour rassembler du contenu pertinent pour ses utilisateurs. Il pose des questions telles que “De quoi discutent vos followers ?” et “Quels sont les tweets que les personnes ayant les mêmes centres d’intérêt que vous ont aimés le plus ?”. Cela permet de recommander des contenus intéressants.

Les tweets hors du réseau sont collectés à l’aide de modèles d’espace intégrés pour obtenir une classification réformée. Cela vous permet de prendre connaissance des tweets et des internautes qui sont en rapport avec vos centres d’intérêt et de vous rapprocher des personnes ayant les mêmes centres d’intérêt, pour encore plus de précision.

SimClusters

Twitter utilise également SimClusters pour faire des recommandations. SimClusters est un excellent outil pour former des “communautés” basées sur les utilisateurs. Cela vous permet de créer rapidement différents groupes et de les rejoindre en fonction d’intérêts communs, qu’il s’agisse d’un petit cercle d’amis proches ou d’immenses réseaux mondiaux. Vous pouvez également faire partie de plusieurs communautés à la fois.

Les tweets qui sont populaires au sein d’une communauté particulière sont montrés à un plus grand nombre de membres de cette communauté, ce qui se traduit par un plus grand engagement et une plus grande portée.

Classement des tweets

Une fois que Twitter a analysé les sources internes et externes pour trouver des tweets susceptibles d’être placés dans votre timeline, il doit les classer, 1 500 étant le maximum. Twitter n’a pas été très clair sur les détails de son système de classement des tweets. Des personnes ont examiné le code derrière ces algorithmes pour tenter de découvrir exactement comment les différents signaux sont pondérés. Par exemple, les tweets contenant uniquement des URL sont moins bien classés, tandis que les likes et les retweets Twitter augmentent considérablement la visibilité.

Toujours à ce sujet, Twitter s’est contenté de commenter : “Le classement est réalisé à l’aide d’un réseau neuronal de ~48M de paramètres qui est continuellement entraîné sur les interactions des Tweets afin d’optimiser l’engagement positif, par exemple les Likes, Retweets et Réponses. Ce mécanisme de classement prend en compte des milliers d’attributs et fournit dix étiquettes pour noter chaque Tweet, chaque étiquette représentant la probabilité d’engagement. Nous classons les Tweets en fonction de ces scores.”

Les filtres

Le système de classement de Twitter est conçu pour filtrer les messages non pertinents ou indésirables de votre fil d’actualité. Outre les comptes bloqués ou mis en sourdine, l’algorithme se concentre également sur les contenus provenant de l’extérieur de votre réseau et sur la fréquence à laquelle ils ont été engagés par quelqu’un que vous suivez.

Le résultat

À la fin du processus, c’est tout simplement le Home Mixer de Twitter qui révolutionne votre fil d’actualité sur la plateforme. Après les filtres, il prend vos tweets recommandés et les mélange avec des publicités, des recommandations de followers et d’autres contenus pour créer une timeline entièrement personnalisée et adaptée à vos centres d’intérêt. En passant par le Home Mixer, vous gagnez non seulement du temps à parcourir votre timeline, mais vous économisez aussi de l’énergie, car il élimine les posts non pertinents et sert, à la place, des contenus qui vous correspondent davantage.
Le fait étonnant est que la durée du processus est d’environ 1,5 seconde, et qu’il est effectué 5 milliards de fois par jour !