{"id":290,"date":"2024-06-21T22:20:07","date_gmt":"2024-06-22T01:20:07","guid":{"rendered":"https:\/\/softwarelivre-br.aomega.com.br\/?p=290"},"modified":"2024-06-22T11:45:43","modified_gmt":"2024-06-22T14:45:43","slug":"phi-3-mini-agora-voce-pode-ter-sua-ia-generativa-propria-com-privacidade-e-seguranca-rodando-localmente-no-seu-pc","status":"publish","type":"post","link":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/2024\/06\/21\/phi-3-mini-agora-voce-pode-ter-sua-ia-generativa-propria-com-privacidade-e-seguranca-rodando-localmente-no-seu-pc\/","title":{"rendered":"Phi-3-mini e Llama 2 7B, agora voc\u00ea pode ter sua IA generativa pr\u00f3pria, com privacidade e seguran\u00e7a rodando localmente no seu PC."},"content":{"rendered":"\n
\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n\n\n\n

(Screenshot do LM Studio rodando localmente o Phi-3 Mini no meu computador, a solicita\u00e7\u00e3o que fiz na tela foi a de resumir um artigo)<\/p>\n\n\n\n

Um dos problemas para rodar uma LLM generativa como o ChatGPT, Llama, Gemini, etc., localmente, s\u00e3o as exig\u00eancias do sistema. Segundo recomenda\u00e7\u00f5es de especialistas uma configura\u00e7\u00e3o m\u00ednima seria um computador com 64gb de mem\u00f3ria RAM, 1 tb de espa\u00e7o em disco, de prefer\u00eancia SSD, processador Core i7 de 11a. gera\u00e7\u00e3o para cima, placa gr\u00e1fica NVIDIA recomendada a RTX 4070 ou superior. E mesmo como essa configura\u00e7\u00e3o, n\u00e3o \u00e9 garantida que a LLM vai “voar” no seu computador, pelo contr\u00e1rio, pode ter uma demora irritante para responder os “prompts” ou solicita\u00e7\u00f5es. <\/p>\n\n\n\n

Ouvi falar do LM Studio, uma ferramenta que permite baixar os modelos de linguagem diretamente do Hughingface e rodar eles localmente, sem precisar de conex\u00e3o com a internet, sem enviar dados para servidores externos. \u00c9 uma situa\u00e7\u00e3o ideal para empresas que desejam garantir a privacidade das suas informa\u00e7\u00f5es e que informa\u00e7\u00f5es importantes n\u00e3o venham vazar para fora do ambiente da empresa. <\/p>\n\n\n\n

Em um artigo anterior descrevi minha experi\u00eancia com o Mistral 7B, uma LLM francesa de c\u00f3digo aberto. Fiquei inicialmente feliz por ter conseguido rodar a LLM localmente mas o tempo de resposta era muito grande ent\u00e3o n\u00e3o era pr\u00e1tico, ainda n\u00e3o era a solu\u00e7\u00e3o para algu\u00e9m que rodasse o LM Studio com Mistral 7B numa configura\u00e7\u00e3o mais modesta como a minha. Embora meu notebook seja Core i7 de 12a. gera\u00e7\u00e3o, ele s\u00f3 tem 16Gb de RAM e placa de v\u00eddeo NVIDIA mas um modelo bem inferior , o Geforce MX550, bem aqu\u00e9m de uma placa RTX 4070.<\/p>\n\n\n\n

Assim passou um bom tempo para fazer uma nova tentativa. Me animou saber que a Meta tinha lan\u00e7ado o novo Llama 3B mini, que seria bem menor. Tamb\u00e9m estava interessado em testar dois novos modelos: O Phi-3 Mini da Microsoft, um modelo compacto de LLM assim como o Gema do Google, tamb\u00e9m um modelo compacto.<\/p>\n\n\n\n

Embora empolgado com a possiblidade de rodar o Llama 3B localmente, ele caiu no mesmo problema do Mistral 7B, o tempo de resposta era horroroso. Abandonei o Llama 3B e baixei o Phi-3 Mini. Fui fazer os testes e surpresa de surpresas, o tempo de resposta era razo\u00e1vel, demorava um pouquinho para responder, mas ainda dentro do toler\u00e1vel. Fiquei muito contente e pensei: Ser\u00e1 que o Gema do Google tamb\u00e9m vai ter performance semelhante no meu equipamento? <\/p>\n\n\n\n

Fiz alguns testes com o Gema, mas ele demorava mais para responder que o Phi-3 Mini. Al\u00e9m disso para algumas perguntas simples ele demorava muito para responder e respondia de forma inesperada muitas vezes. Tentei “conversar” com ele, como fa\u00e7o com o ChatGPT, mas ele n\u00e3o est\u00e1 capacitado para manter uma conversa coerente. Respondeu errado a v\u00e1rias solicita\u00e7\u00f5es, sei que \u00e9 uma vers\u00e3o mini, mas nem por isso era admiss\u00edvel assim que abandonei os testes com o Gema e fiquei apenas com o Phi-3 Mini da Microsoft, o \u00fanico que roda decentemente no meu equipamento, que est\u00e1 longe de ser a configura\u00e7\u00e3o ideal. Ele foi capaz de manter uma longa conversa de forma coerente e respondeu corretamente a minhas solicita\u00e7\u00f5es. Pronto! Agora sim tenho um IA Generativa que posso chamar de “minha” rodando localmente no meu computador, com toda privacidade e seguran\u00e7a, fiz testes desconectado da internet e ele continuou funcionando corretamente. Pode ser que no futuro as coisas mudem mas no momento minha IA Generativa favorita para rodar localmente passou a ser o Phi-3 Mini. E se funcionou bem comigo com certeza funcionar\u00e1 bem com outros usu\u00e1rios que tenham uma configura\u00e7\u00e3o igual ou superior \u00e0 minha.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Llama 2: <\/strong>Continuando meus testes com modelos de IA generativa, testei e descartei outros modelos mas quando testei o llama2 chat 7B, baixando ele para meu computador usando o LM Studio tive um grata surpresa. O llama2 chat 7B funciona bem r\u00e1pido, \u00e9 capaz de te ajudar com c\u00f3digo em v\u00e1rias linguagens, com SQL e tamb\u00e9m responde perguntas gerais. Analisando c\u00f3digo se saiu melhor ainda que o Phi-3 Mini, ent\u00e3o ele passou a ser minha segunda LLMs instalada localmente no meu computador e n\u00e3o precisei escrever uma linha de c\u00f3digo, s\u00f3 baixar o modelo do Hughingface com o LM Studio , que ele mesmo instala e j\u00e1 est\u00e1 pronto como op\u00e7\u00e3o de modelo a ser utilizado nas suas conversas com a intelig\u00eancia artificial. Lembrando que minha configura\u00e7\u00e3o de computador \u00e9 de 16gb de RAM, processador Core i7 12a. gera\u00e7\u00e3o e placa gr\u00e1fica modesta, a NVIDIA MX550.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

O LM Studio tamb\u00e9m permite que voc\u00ea chame as LLMs via API simulando um servidor local abrindo novas possibilidades.<\/p>\n\n\n\n

Links: LM Studio<\/a><\/p>\n\n\n\n

Ernesto Villafuerte Oyola
CEO – Aomega Treinamento e Consultoria
https:\/\/www.aomega.com.br<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

(Screenshot do LM Studio rodando localmente o Phi-3 Mini no meu computador, a solicita\u00e7\u00e3o que fiz na tela foi a de resumir um artigo) Um dos problemas para rodar uma LLM generativa como o ChatGPT, Llama, Gemini, etc., localmente, s\u00e3o as exig\u00eancias do sistema. Segundo recomenda\u00e7\u00f5es de especialistas uma configura\u00e7\u00e3o m\u00ednima seria um computador com … <\/p>\n

Continue lendo “Phi-3-mini e Llama 2 7B, agora voc\u00ea pode ter sua IA generativa pr\u00f3pria, com privacidade e seguran\u00e7a rodando localmente no seu PC.”<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"advanced_seo_description":"","jetpack_seo_html_title":"","jetpack_seo_noindex":false,"jetpack_seo_schema_type":"","_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_feature_clip_id":0,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"jetpack_post_was_ever_published":false},"categories":[1],"tags":[93,68,97,96],"class_list":["post-290","post","type-post","status-publish","format-standard","hentry","category-sem-categoria","tag-ia-generativa","tag-llm","tag-lm-studio","tag-phi-3-mini","entry"],"jetpack_publicize_connections":[],"jetpack_sharing_enabled":true,"jetpack_shortlink":"https:\/\/wp.me\/p7PCWO-4G","jetpack-related-posts":[],"jetpack_featured_media_url":"","_links":{"self":[{"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/posts\/290","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/comments?post=290"}],"version-history":[{"count":11,"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/posts\/290\/revisions"}],"predecessor-version":[{"id":308,"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/posts\/290\/revisions\/308"}],"wp:attachment":[{"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/media?parent=290"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/categories?post=290"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/tags?post=290"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}