La mise à jour de Llamafile accélère considérablement les processeurs AMD Ryzen avec AVX-512
La dernière mise à jour de Llamafile prend en charge le jeu d'instructions AVX-512, permettant aux processeurs prenant en charge cette technologie d'augmenter considérablement les performances lors de l'utilisation de ce logiciel. Les processeurs AMD Zen 4 « Ryzen » connaîtraient une accélération décuplée de l'évaluation des requêtes avec la nouvelle mise à jour, ce qui permettra à terme des performances LLM beaucoup plus efficaces sur l'outil.
Llamafile, développé par Mozilla Ocho, est un outil qui peut être déployé avec un seul exécutable qui combine le modèle LLM avec les bibliothèques nécessaires pour l'exécuter. L'outil vise à rendre les LLM accessibles à un public plus large en utilisant à la fois le calcul CPU et GPU. Llamafile a gagné en popularité parmi les développeurs, notamment parce qu'il élimine le besoin de solutions coûteuses pour accéder aux LLM, mais il en est encore aux premiers stades de développement, il existe donc des zones d'inexactitude qui devraient être corrigées dans le futur. futur proche .
La nouvelle amélioration des performances n'a pas encore été testée, mais Phoronix indique qu'il prévoit de tester le nouveau Llamafire 0.7 à l'avenir sur les systèmes AMD et Intel. La dernière version est disponible sur GitHub. Il convient de noter que les processeurs Ryzen d'AMD sont les seules puces grand public à prendre en charge les instructions AVX-512, tandis qu'Intel a abandonné le support de cette technologie car elle affecte les ventes de ses puces Xeon, donnant à la plate-forme Ryzen d'AMD un avantage pour les utilisateurs souhaitant exécuter des applications utilisant AVX. -512.