$GOOGL est partout ! 👇

Google révèle des algorithmes pour résoudre les défis de mémoire de l'IA ; les actions de mémoire et de stockage chutent
Google (GOOG)(GOOGL) a révélé aujourd'hui un ensemble de nouveaux algorithmes conçus pour réduire la quantité de mémoire nécessaire pour exécuter de grands modèles de langage et des moteurs de recherche vectorielle.
Les actions des principaux fournisseurs de mémoire et de stockage ont baissé lors des échanges précoces mercredi. Micron Technology (MU) a baissé de 4%, Western Digital a reculé de 4,4%, Seagate Technology (STX) a baissé de 5,6%, et Sandisk (SNDK) a chuté de 6,5%. Sandisk a annoncé aujourd'hui qu'elle a conclu un accord de souscription à placement privé pour faire un investissement en actions dans l'entreprise de semi-conducteurs Nanya Technology.
Les algorithmes introduits par Google incluent TurboQuant, Quantized Johnson-Lindenstrauss et PolarQuant. TurboQuant est un algorithme de compression qui aborde de manière optimale le défi de la surcharge mémoire dans la quantification vectorielle.
Une technique mathématique connue sous le nom de Transformation Johnson-Lindenstrauss réduit les données complexes et de haute dimension tout en préservant les distances essentielles et les relations entre les points de données. Cet algorithme crée un raccourci haute vitesse qui ne nécessite aucune surcharge mémoire.
Enfin, PolarQuant aborde le problème de surcharge mémoire en utilisant les coordonnées polaires. Cela permet aux LLM de sauter l'étape de normalisation des données car il mappe les données sur une grille « circulaire » fixe et prévisible, où les limites sont déjà connues.
« Alors que l'IA s'intègre de plus en plus dans tous les produits, des LLM à la recherche sémantique, ce travail fondamental en quantification vectorielle sera plus critique que jamais », ont déclaré le chercheur en IA de Google Amir Zandieh et Vahab Mirrokni, VP et Google Fellow, dans un billet de blog.
Google prévoit de présenter TurboQuant à la Conférence internationale sur les représentations d'apprentissage à Rio de Janeiro en avril.