{"id":2497,"date":"2023-04-11T11:54:24","date_gmt":"2023-04-11T09:54:24","guid":{"rendered":"https:\/\/signal.eu.org\/blog\/?p=2497"},"modified":"2023-04-11T22:45:39","modified_gmt":"2023-04-11T20:45:39","slug":"faire-tourner-une-intelligence-artificielle-sur-un-ordinateur-personnel","status":"publish","type":"post","link":"https:\/\/signal.eu.org\/blog\/2023\/04\/11\/faire-tourner-une-intelligence-artificielle-sur-un-ordinateur-personnel\/","title":{"rendered":"Faire tourner une intelligence artificielle sur un ordinateur personnel"},"content":{"rendered":"\n<div class=\"twitter-share\"><a href=\"https:\/\/twitter.com\/intent\/tweet?via=pbeyssac\" class=\"twitter-share-button\">Tweet<\/a><\/div>\n\n<p>Les intelligences artificielles (IA) conversationnelles \u00e9tant \u00e0 la mode depuis l&#8217;\u00e9mergence de ChatGPT cet automne, j&#8217;ai voulu en avoir le c\u0153ur net et \u00e9valuer les ressources qu&#8217;elles requi\u00e8rent.<\/p>\n\n\n\n<p>En effet, les affirmations ne manquent pas sur les ressources \u00e9normes n\u00e9cessaires : cartes graphiques haut de gamme comme l&#8217;A100 de Nvidia (20 000 dollars), nombre de serveurs, nombre de param\u00e8tres, etc. Ces ressources les r\u00e9serveraient \u00e0 des grosses soci\u00e9t\u00e9s aux poches profondes. Est-ce vrai ?<\/p>\n\n\n\n<p>Ce week-end j&#8217;ai donc r\u00e9alis\u00e9 mon premier dialogue avec une IA tournant chez moi, en utilisant notamment des d\u00e9riv\u00e9s de <a href=\"https:\/\/github.com\/facebookresearch\/llama\">LLaMa<\/a>, le moteur diffus\u00e9 partiellement en logiciel libre par l&#8217;\u00e9quipe de l&#8217;IA de Facebook. Cette \u00e9quipe est dirig\u00e9e par le fran\u00e7ais <a href=\"https:\/\/fr.wikipedia.org\/wiki\/Yann_Le_Cun\">Yann Le Cun<\/a>, un des p\u00e8res du domaine.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Pourquoi ?<\/h2>\n\n\n\n<p>ChatGPT \u00e0 sa sortie publique a provoqu\u00e9 un choc dans le milieu de l&#8217;intelligence artificielle et des <a href=\"https:\/\/fr.wikipedia.org\/wiki\/Mod%C3%A8le_de_langage\">LLM<\/a> (mod\u00e8les de langage), et au del\u00e0. La technologie est r\u00e9cente et les sp\u00e9cialistes du domaine connaissaient son potentiel, mais personne n&#8217;avait r\u00e9ussi \u00e0 en proposer une mise en \u0153uvre pertinente pour le grand public. <a href=\"https:\/\/openai.com\/\">OpenAI<\/a> a donc, d&#8217;une certaine mani\u00e8re, \u00ab vex\u00e9 \u00bb la profession en recevant toute l&#8217;attention. OpenAI, qui initialement avait \u00e9t\u00e9 fond\u00e9 pour diffuser ce travail en logiciel libre, a chang\u00e9 brutalement son fusil d&#8217;\u00e9paule sous pr\u00e9texte de la puissance du proc\u00e9d\u00e9 qu&#8217;il ne faudrait &#8220;pas mettre entre toutes les mains&#8221;. Les avertissements (et les peurs, souvent exag\u00e9r\u00e9es) sur les cons\u00e9quences du d\u00e9ploiement de ces technologies sont \u00e0 l&#8217;avenant.<\/p>\n\n\n\n<p>En r\u00e9action sont apparus des efforts de mise \u00e0 disposition au plus grand nombre, pour au contraire profiter \u00e0 tous et \u00e9viter un accaparement de la technologie par OpenAI. En effet, OpenAI est loin d&#8217;\u00eatre le seul acteur dans ce domaine, ni le premier. Hors Facebook (Meta), on peut notamment citer <a href=\"https:\/\/huggingface.co\/\">Hugging Face<\/a> (<a href=\"https:\/\/en.wikipedia.org\/wiki\/Hugging_Face\">page Wikipedia<\/a>) fond\u00e9e par des fran\u00e7ais.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Qu&#8217;est ce que c&#8217;est ?<\/h2>\n\n\n\n<p>Il existe 2 \u00e9l\u00e9ments principaux pour faire fonctionner une intelligence artificielle \u00e0 apprentissage profond, qui est la technologie utilis\u00e9e pour ces agents conversationnels :<\/p>\n\n\n\n<ul><li>le moteur, dont bon nombre existent en logiciel libre, mais qui ne savent rien faire par eux-m\u00eames ;<\/li><li>le param\u00e9trage du moteur, r\u00e9sultat d&#8217;un long apprentissage sur un ensemble de textes, images ou autres, et qui rec\u00e8le l&#8217;essentiel de l&#8217;\u00ab intelligence \u00bb du syst\u00e8me.<\/li><\/ul>\n\n\n\n<p>Je n&#8217;ai pas install\u00e9 le moteur initial de LLaMa mais une r\u00e9impl\u00e9mentation optimis\u00e9e pour fonctionner avec moins de ressources, <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\">llama.cpp<\/a>, fournie avec toutes les instructions d&#8217;installation sous Linux.<\/p>\n\n\n\n<p><a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\">llama.cpp<\/a> est un moteur &#8220;g\u00e9n\u00e9rique&#8221; et permet de faire tourner plusieurs mod\u00e8les, comme le d\u00e9crit sa page d&#8217;accueil : le mod\u00e8le LLaMa original, mais aussi <a href=\"https:\/\/github.com\/tatsu-lab\/stanford_alpaca\">Alpaca<\/a>, <a href=\"https:\/\/github.com\/nomic-ai\/gpt4all\">GPT4all<\/a>, <a href=\"https:\/\/github.com\/bofenghuang\/vigogne\">vigogne<\/a> (un mod\u00e8le fran\u00e7ais), etc. <\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Quels mod\u00e8les ?<\/h2>\n\n\n\n<p>Le mod\u00e8le LLaMa, de m\u00eame nom que le moteur, a \u00e9t\u00e9 distribu\u00e9 par Facebook suite au buzz provoqu\u00e9 par le lancement de ChatGPT.<\/p>\n\n\n\n<p>De nombreux mod\u00e8les sont d\u00e9riv\u00e9s du mod\u00e8le Facebook (qu&#8217;il faut donc r\u00e9cup\u00e9rer en montrant patte blanche, comme expliqu\u00e9 <a href=\"https:\/\/github.com\/facebookresearch\/llama\/pull\/73\/files\">ici<\/a>). D&#8217;autres sont distribu\u00e9s de mani\u00e8re ind\u00e9pendante, certains avec un moteur d\u00e9di\u00e9, mais tous peuvent tourner avec le moteur <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\">llama.cpp<\/a>, \u00e9ventuellement suite \u00e0 conversion de leur format.<\/p>\n\n\n\n<p>J&#8217;ai ainsi essay\u00e9 :<\/p>\n\n\n\n<ul><li><a href=\"https:\/\/github.com\/facebookresearch\/llama\">LLaMa<\/a> dans 3 de ses versions : 7B, 13B et 30B. La version 65B est un peu trop grosse pour ma machine ;<\/li><li><a href=\"https:\/\/github.com\/tatsu-lab\/stanford_alpaca\">Alpaca<\/a>, plus compact que LLaMa \u00e0 performances comparables ;<\/li><li> <a href=\"https:\/\/github.com\/bofenghuang\/vigogne\">vigogne<\/a>, un mod\u00e8le fran\u00e7ais d\u00e9riv\u00e9 du mod\u00e8le LLaMa. Vigogne est &#8220;r\u00e9gl\u00e9 finement&#8221; (<em>fine-tuned<\/em>) avec des instructions en fran\u00e7ais. Le &#8220;fine tuning&#8221; consiste \u00e0 compl\u00e9ter un gros mod\u00e8le d\u00e9j\u00e0 calcul\u00e9 (processus tr\u00e8s long) avec des instructions de sp\u00e9cialisation particuli\u00e8res qui l&#8217;ajustent \u00e0 la marge. On obtient alors un nouveau mod\u00e8le. Vigogne a ainsi repris les mod\u00e8les d&#8217;apprentissage d&#8217;Alpaca, en les traduisant en fran\u00e7ais, pour obtenir un mod\u00e8le plus \u00e0 l&#8217;aise en langue fran\u00e7aise ;<\/li><li><a href=\"https:\/\/github.com\/nomic-ai\/gpt4all\">gpt4all<\/a> , un autre mod\u00e8le d\u00e9riv\u00e9 de LLaMa, mais qui a re\u00e7u en compl\u00e9ment d&#8217;apprentissage 800 000 questions-r\u00e9ponses en partie trait\u00e9es avec GPT-3.5, le mod\u00e8le d&#8217;OpenAI.<\/li><\/ul>\n\n\n\n<p>Je n&#8217;ai pas encore essay\u00e9 :<\/p>\n\n\n\n<ul><li><a href=\"https:\/\/github.com\/lm-sys\/FastChat\">Vicuna<\/a>, qui promet &#8220;90%<sup>*<\/sup> ChatGPT Quality&#8221;<\/li><li><a href=\"https:\/\/bair.berkeley.edu\/blog\/2023\/04\/03\/koala\/\">Koala<\/a><\/li><\/ul>\n\n\n\n<p>Le domaine avance tr\u00e8s vite et de nouveaux mod\u00e8les ou mises \u00e0 jour apparaissent en permanence.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Quelles ressources ?<\/h2>\n\n\n\n<p>Bien entendu, plus un mod\u00e8le est gros, plus il est cens\u00e9 \u00eatre &#8220;pertinent&#8221; et s&#8217;exprimer de mani\u00e8re naturelle, et plus il va occuper de ressources (disque, m\u00e9moire et processeur). Cependant, d&#8217;autres facteurs interviennent :<\/p>\n\n\n\n<ul><li>la qualit\u00e9 de l&#8217;apprentissage : \u00e0 taille \u00e9gale, certains mod\u00e8les sont plus efficaces que d&#8217;autres ;<\/li><li>la taille du mod\u00e8le : plus il est gros, plus il a compil\u00e9 de \u00ab connaissances \u00bb et sera pertinent ;<\/li><li>la taille unitaire des param\u00e8tres : certains mod\u00e8les ont 16 bits par param\u00e8tre, ce qui est assez lourd. Il est possible de r\u00e9duire cette taille \u00e0 4 bits par param\u00e8tre, au prix d&#8217;une l\u00e9g\u00e8re d\u00e9gradation de pertinence ;<\/li><li>l&#8217;architecture du r\u00e9seau neuronal choisi : nombre et taille des couches de neurones, interconnexions entre couches.<\/li><\/ul>\n\n\n\n<p>Si le proc\u00e9d\u00e9 des r\u00e9seaux neuronaux est d&#8217;ordre g\u00e9n\u00e9ral, en revanche les formats de fichiers stockant les mod\u00e8les diff\u00e8rent et \u00e9voluent. Un m\u00eame mod\u00e8le peut donc fonctionner sur diff\u00e9rents moteurs, mais il peut \u00eatre n\u00e9cessaire de convertir les fichiers.<\/p>\n\n\n\n<p>Les proc\u00e9d\u00e9s de conversion pour llama.cpp sont expliqu\u00e9s dans la documentation du logiciel et concernent plusieurs mod\u00e8les. La conversion des mod\u00e8les LLaMa n\u00e9cessite la biblioth\u00e8que <a href=\"https:\/\/github.com\/pytorch\/pytorch\">pytorch<\/a>, que je n&#8217;ai pas r\u00e9ussi \u00e0 faire fonctionner sous FreeBSD, le syst\u00e8me d&#8217;exploitation que j&#8217;utilise. J&#8217;ai donc install\u00e9 un Linux, distribution Debian 11, d\u00e9di\u00e9 \u00e0 cet usage. Vigogne et GPT4All ont \u00e9galement besoin de conversion de fichiers.<\/p>\n\n\n\n<p>Les tailles des mod\u00e8les que j&#8217;ai r\u00e9cup\u00e9r\u00e9s sont les suivantes :<\/p>\n\n\n\n<ul><li>LLaMa 7B : environ 13 Go en version originale 16 bits, 4 Go en version 4 bits.<\/li><li>LLaMa 13B : environ 26 Go en 16 bits, 8 Go en 4 bits.<\/li><li>LLaMa 30B : 65 Go en 16 bits, 20 Go en 4 bits.<\/li><li>LLaMa 65B : 130 Go en 16 bits, conversion encore en cours chez moi apr\u00e8s plusieurs jours&#8230;<\/li><li>Alpaca : 4 Go, mod\u00e8le en 4 bits<\/li><li>vigogne 7B : 13 Go en 16 bits (d\u00e9riv\u00e9 de LLaMa), 4 Go en 4 bits.<\/li><li>gpt4all : 4 Go en 4 bits (plusieurs mod\u00e8les, &#8220;filtr\u00e9s&#8221; ou non)<\/li><\/ul>\n\n\n\n<p>L&#8217;ordinateur sur lequel j&#8217;ai r\u00e9alis\u00e9 ces traitements est un PC sous FreeBSD, 32 Go de m\u00e9moire, 8 To de disque, et un processeur AMD Ryzen 5-5600G avec circuit graphique (GPU) int\u00e9gr\u00e9, qui h\u00e9bergeait une machine virtuelle Debian 11 \u00e0 qui \u00e9taient allou\u00e9s 8 \u00e0 28 Go de m\u00e9moire pour convertir et faire tourner les mod\u00e8les.<\/p>\n\n\n\n<p>La conversion des mod\u00e8les a n\u00e9cessit\u00e9 de 8 \u00e0 20 Go de RAM. Le processus de conversion utilisait au pire 16,5 Go de m\u00e9moire pour le mod\u00e8le le plus gros, LLaMa 65B.<\/p>\n\n\n\n<p>Il est ensuite possible de lancer le mod\u00e8le, soit avec son logiciel d&#8217;origine, soit avec llama.cpp. J&#8217;ai commenc\u00e9 avec le mod\u00e8le LLaMa 7B, qui se contente pour fonctionner de 6 Go de m\u00e9moire. Voici une d\u00e9monstration dans une vid\u00e9o non acc\u00e9l\u00e9r\u00e9e :<\/p>\n\n\n\n<iframe loading=\"lazy\" title=\"Premier test avec LLaMa, l'intelligence artificielle diffus\u00e9e par Facebook\" src=\"https:\/\/peertube.eu.org\/videos\/embed\/f13b8e47-b511-4d59-a7dc-1d4c631497e4\" allowfullscreen=\"\" sandbox=\"allow-same-origin allow-scripts allow-popups\" width=\"560\" height=\"315\" frameborder=\"0\"><\/iframe>\n\n\n\n<p>J&#8217;ai ensuite essay\u00e9 le mod\u00e8le LLaMa avec 13 milliards de param\u00e8tres (13B), qui r\u00e9pond de mani\u00e8re plus pertinente mais m\u00e9lange parfois tout, avec des morceaux inattendus en LaTeX (un langage de traitement de texte). J&#8217;ai aussi eu des extraits de r\u00e9ponses en langage Python.<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><a href=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image.png\"><img decoding=\"async\" loading=\"lazy\" width=\"1003\" height=\"255\" src=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image.png\" alt=\"\" class=\"wp-image-2499\" srcset=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image.png 1003w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-300x76.png 300w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-768x195.png 768w\" sizes=\"(max-width: 1003px) 100vw, 1003px\" \/><\/a><\/figure>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-1.png\"><img decoding=\"async\" loading=\"lazy\" width=\"1024\" height=\"528\" src=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-1-1024x528.png\" alt=\"\" class=\"wp-image-2500\" srcset=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-1-1024x528.png 1024w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-1-300x155.png 300w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-1-768x396.png 768w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-1.png 1296w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/a><\/figure>\n\n\n\n<p>Puis j&#8217;ai tent\u00e9 la m\u00eame chose avec Alpaca (mod\u00e8le diffus\u00e9 par l&#8217;universit\u00e9 de Stanford, d\u00e9riv\u00e9 \u00e0 la fois de LLaMa et de certains fichiers d&#8217;apprentissage de OpenAI). <a href=\"https:\/\/github.com\/tatsu-lab\/stanford_alpaca\">Alpaca<\/a>, peut-\u00eatre gr\u00e2ce \u00e0 son mod\u00e8le stock\u00e9 en 4 bits, a besoin de beaucoup moins de m\u00e9moire pour des r\u00e9sultats plus pertinents. Ici j&#8217;ai utilis\u00e9 directement le logiciel <strong>chat<\/strong> fourni avec le mod\u00e8le, qui chez moi tourne beaucoup plus rapidement qu&#8217;avec llama.cpp :<\/p>\n\n\n\n<iframe loading=\"lazy\" title=\"Essai avec Alpaca\" src=\"https:\/\/peertube.eu.org\/videos\/embed\/f1476dd0-4f7c-47bb-ae6b-1c8f2b91142e\" allowfullscreen=\"\" sandbox=\"allow-same-origin allow-scripts allow-popups\" width=\"560\" height=\"315\" frameborder=\"0\"><\/iframe>\n\n\n\n<h2 class=\"wp-block-heading\">Verdict sur les ressources<\/h2>\n\n\n\n<p>Je voulais voir s&#8217;il \u00e9tait possible de faire tourner ce type de logiciel sur un PC relativement basique. La r\u00e9ponse est donc positive. Il est inutile d&#8217;avoir une carte graphique (GPU) surgonfl\u00e9e ou des quantit\u00e9s astronomiques de RAM, gr\u00e2ce au travail d&#8217;optimisation incroyable fait par les d\u00e9veloppeurs et publi\u00e9 en source.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u00c7a marche aussi sous FreeBSD<\/h2>\n\n\n\n<p>Je n&#8217;ai pas r\u00e9ussi \u00e0 me passer de Linux pour la conversion des mod\u00e8les, mais les utiliser est plus facile. Alpaca se compile et tourne tr\u00e8s facilement sous FreeBSD :<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>$ git clone https:\/\/github.com\/antimatter15\/alpaca.cpp\n$ cd alpaca.cpp\n$ gmake\n$ .\/chat<\/code><\/pre>\n\n\n\n<p>Il faut aussi t\u00e9l\u00e9charger le fichier .bin du mod\u00e8le (cf instructions d&#8217;Alpaca). Ce qui permet de se faire bullshiter ensuite comme par tout bon LLM :<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-4.png\"><img decoding=\"async\" loading=\"lazy\" width=\"1024\" height=\"591\" src=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-4-1024x591.png\" alt=\"\" class=\"wp-image-2503\" srcset=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-4-1024x591.png 1024w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-4-300x173.png 300w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-4-768x443.png 768w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-4-1536x887.png 1536w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-4.png 1611w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/a><\/figure>\n\n\n\n<p>llama.cpp tourne \u00e9galement sans probl\u00e8me sous FreeBSD, mais bien plus lentement car les extensions AVX\/AVX2\/F16C\/SSE3 ne sont pas activ\u00e9es. Il s&#8217;agit d&#8217;un probl\u00e8me mineur probablement puisque alpaca.cpp les utilise. On note que, comme tout bon mod\u00e8le de langage, LLaMa n&#8217;h\u00e9site pas \u00e0 broder en m&#8217;affirmant des choses totalement hors de sa port\u00e9e :<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-5.png\"><img decoding=\"async\" loading=\"lazy\" width=\"1024\" height=\"591\" src=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-5-1024x591.png\" alt=\"\" class=\"wp-image-2504\" srcset=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-5-1024x591.png 1024w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-5-300x173.png 300w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-5-768x443.png 768w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-5-1536x887.png 1536w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-5.png 1611w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/a><\/figure>\n\n\n\n<p><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Quels r\u00e9sultats avec ces mod\u00e8les ?<\/h2>\n\n\n\n<p>Tous les mod\u00e8les pr\u00e9sent\u00e9s ici d\u00e9rivent plus ou moins directement de LLaMa. Le but est de s&#8217;approcher au plus pr\u00e8s de GPT-3.5, le mod\u00e8le phare vendu par OpenAI, et avec le moins de ressources possibles. <\/p>\n\n\n\n<p>Le r\u00e9sultat est subjectif et d\u00e9pend des usages, mais GPT-3.5 semble d\u00e9tenir encore une avance assez nette en pertinence, longueur des r\u00e9ponses et qualit\u00e9 des textes g\u00e9n\u00e9r\u00e9s, gr\u00e2ce \u00e0 sa grande taille et \u00e0 celle du corpus qui a servi \u00e0 l&#8217;entra\u00eener.<\/p>\n\n\n\n<p>Cependant, les mod\u00e8les existants peuvent d\u00e9j\u00e0 \u00eatre tr\u00e8s utiles en analyse de texte en langue naturelle, en aide \u00e0 la r\u00e9daction de texte ou de code, cr\u00e9ativit\u00e9, etc.<\/p>\n\n\n\n<p>Les progr\u00e8s sont \u00e9galement tr\u00e8s rapides : il y a quelques semaines \u00e0 peine, les faire fonctionner sur un simple PC \u00e9tait beaucoup plus difficile. Il ne fait aucun doute que d&#8217;ici la fin 2023, d&#8217;autres avanc\u00e9es notables seront r\u00e9alis\u00e9es.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Annexes<\/h2>\n\n\n\n<p>Copie d&#8217;\u00e9cran du processus de conversion d&#8217;un des mod\u00e8les LLaMa :<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-2.png\"><img decoding=\"async\" loading=\"lazy\" width=\"1024\" height=\"591\" src=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-2-1024x591.png\" alt=\"\" class=\"wp-image-2501\" srcset=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-2-1024x591.png 1024w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-2-300x173.png 300w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-2-768x443.png 768w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-2-1536x887.png 1536w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-2.png 1611w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/a><\/figure>\n\n\n\n<p>Processus (beaucoup plus rapide) de transformation du mod\u00e8le 16 bits en mod\u00e8le 4 bits :<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-3.png\"><img decoding=\"async\" loading=\"lazy\" width=\"1024\" height=\"591\" src=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-3-1024x591.png\" alt=\"\" class=\"wp-image-2502\" srcset=\"https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-3-1024x591.png 1024w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-3-300x173.png 300w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-3-768x443.png 768w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-3-1536x887.png 1536w, https:\/\/signal.eu.org\/blog\/wp-content\/uploads\/2023\/04\/image-3.png 1611w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/a><\/figure>\n\n\n\n<p><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Les intelligences artificielles (IA) conversationnelles \u00e9tant \u00e0 la mode depuis l&#8217;\u00e9mergence de ChatGPT cet automne, j&#8217;ai voulu en avoir le c\u0153ur net et \u00e9valuer les ressources qu&#8217;elles requi\u00e8rent. En effet, les affirmations ne manquent pas sur les ressources \u00e9normes n\u00e9cessaires : cartes graphiques haut de gamme comme l&#8217;A100 de Nvidia (20 000 dollars), nombre de &hellip; <a href=\"https:\/\/signal.eu.org\/blog\/2023\/04\/11\/faire-tourner-une-intelligence-artificielle-sur-un-ordinateur-personnel\/\" class=\"more-link\">Continue reading <span class=\"screen-reader-text\">Faire tourner une intelligence artificielle sur un ordinateur personnel<\/span> <span class=\"meta-nav\">&rarr;<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[15,7,5],"tags":[],"_links":{"self":[{"href":"https:\/\/signal.eu.org\/blog\/wp-json\/wp\/v2\/posts\/2497"}],"collection":[{"href":"https:\/\/signal.eu.org\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/signal.eu.org\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/signal.eu.org\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/signal.eu.org\/blog\/wp-json\/wp\/v2\/comments?post=2497"}],"version-history":[{"count":21,"href":"https:\/\/signal.eu.org\/blog\/wp-json\/wp\/v2\/posts\/2497\/revisions"}],"predecessor-version":[{"id":2525,"href":"https:\/\/signal.eu.org\/blog\/wp-json\/wp\/v2\/posts\/2497\/revisions\/2525"}],"wp:attachment":[{"href":"https:\/\/signal.eu.org\/blog\/wp-json\/wp\/v2\/media?parent=2497"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/signal.eu.org\/blog\/wp-json\/wp\/v2\/categories?post=2497"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/signal.eu.org\/blog\/wp-json\/wp\/v2\/tags?post=2497"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}