{"id":228,"date":"2023-12-31T13:17:54","date_gmt":"2023-12-31T16:17:54","guid":{"rendered":"https:\/\/softwarelivre-br.aomega.com.br\/?p=228"},"modified":"2024-01-01T19:23:47","modified_gmt":"2024-01-01T22:23:47","slug":"inteligencia-generativa-alem-do-chatgpt-e-do-software-proprietario","status":"publish","type":"post","link":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/2023\/12\/31\/inteligencia-generativa-alem-do-chatgpt-e-do-software-proprietario\/","title":{"rendered":"AL\u00c9M DO CHATGPT E DO SOFTWARE PROPRIET\u00c1RIO"},"content":{"rendered":"\n
\"AI<\/figure>\n\n\n\n

Este ano foi um ano disruptivo, com o surgimento do ChatGPT, modelo de intelig\u00eancia artificial generativa ou LLM (Large Language Model), a intelig\u00eancia artificial chegou de maneira avassaladora ao usu\u00e1rio final , de uma forma que surpreendeu todo mundo com sua facilidade de uso, a qualidade de suas respostas a perguntas das mais variadas em linguagem completamente coloquial, interagindo conosco de forma semelhante a uma conversa\u00e7\u00e3o com um ser humano.<\/p>\n\n\n\n

Agora o ChatGPT j\u00e1 se encontra na sua \u00faltima vers\u00e3o, o ChatGPT-4 que \u00e9 muito superior a vers\u00e3o anterior e que est\u00e1 dispon\u00edvel gratuitamente, o ChatGPT 3.5 . A Google que at\u00e9 ent\u00e3o despontava na \u00e1rea de intelig\u00eancia artificial , foi surpreendida pela OpenAI, criadora do ChatGPT, mas n\u00e3o demorou muitos meses para dar sua resposta, o Bard, que tamb\u00e9m apresenta respostas de muita qualidade e \u00e9 um concorrente \u00e0 altura do ChatGPT. Tanto o ChatGPT como o Bard entretanto ainda tem um problema, as \u201calucina\u00e7\u00f5es\u201d, que acontecem quando estes n\u00e3o sabem a resposta e tentam responder dando respostas n\u00e3o baseada nos fatos, passam a  \u201calucinar\u201d, e dar respostas mirabolantes. Isto j\u00e1 est\u00e1 procurando ser corrigido. <\/p>\n\n\n\n

Mas o que eu queria abordar \u00e9 outro assunto, o que t\u00e3o seguras s\u00e3o essas IAs generativas? A Microsoft incorporou o ChatGPT no Bing, que por sua vez j\u00e1 colhia e armazenava dados relacionados com nossas pesquisas podendo tra\u00e7ar um perfil do usu\u00e1rio. O Bing com ChatGPT vai continuar colhendo dados nossos, com ajuda agora da intelig\u00eancia artificial? Pr\u00e1ticamente certo que sim, assim como o Google faz, embora a empresa criadora do Bing com ChatGPT incorporado se esforce para tranquilizar os usu\u00e1rios dizendo que vai ser respeitada sua privacidade… \u201cMorde aqui!\u201d\u00a0\u00a0 \ud83d\ude0a\u00a0 E isso tamb\u00e9m vale para o Google Bard e o pr\u00f3prio ChatGPT.\u00a0 N\u00e3o por acaso existe a recomenda\u00e7\u00e3o para empresas de n\u00e3o usar dados sigilosos nas intera\u00e7\u00f5es com a nova intelig\u00eancia artificial. J\u00e1 houve denuncias de empresas que tiveram seus dados vazados fora do ambiente corporativo ap\u00f3s intera\u00e7\u00e3o de seus funcion\u00e1rios com o ChatGPT. Muitas empresas passaram a proibir o uso do ChatGPT dentro das empresas.<\/p>\n\n\n\n

Mas tem como evitar que isto aconte\u00e7a?  Bom, primeiro voc\u00ea tem que entender que tanto o ChatGPT como o Bard respondem rapidamente a nossas requisi\u00e7\u00f5es (prompts) porque eles est\u00e3o hospedados em servidores muito poderosos com grande capacidade de computa\u00e7\u00e3o. Ent\u00e3o, como a maioria dos usu\u00e1rios e empresas n\u00e3o possui servidores com essa capacidade computacional, depende dos servidores do ChatGPT e Bard (agora com nova LLM embutida, o novo Gemini Pro).<\/p>\n\n\n\n

Poderiamos ter uma vers\u00e3o do ChatGPT ou do Bard (com Gemini pro) hospedada nos servidores das pr\u00f3prias empresas usu\u00e1rias?  N\u00e3o creio que a OpenAI ou a Google v\u00e3o permitir isso. E mesmo que permitissem, quem garante que eles n\u00e3o v\u00e3o continuar enviando informa\u00e7\u00f5es sigilosas para fora da rede interna da empresa? Qual a sa\u00edda ent\u00e3o?<\/p>\n\n\n\n

O uso de software livre!  O software livre tem como caracter\u00edstica n\u00e3o ser propriet\u00e1rio, ou seja n\u00e3o pertence a nenhuma empresa especificamente, mas \u00e9 desenvolvido e mantido por uma comunidade de usu\u00e1rios. Ele permite tamb\u00e9m acesso ao c\u00f3digo fonte, que pode ser auditado para detectar poss\u00edveis comportamentos indesejados como os que mencionei anteriormente.  Pode ser instalado nos servidores internos da pr\u00f3pria empresa, na sua intranet. Ah legal, voc\u00ea vai me dizer.  Mas existe algum software livre de qualidade que possa competir com o ChatGPT ou o Bard?  A resposta \u00e9 SIM!!!<\/p>\n\n\n\n

Embora menos conhecidos existem as LLMs de c\u00f3digo aberto como o Llama do Facebook mas que embora seja de c\u00f3digo aberto n\u00e3o garante que o Facebook decida em algum momento torn\u00e1-lo propriet\u00e1rio.  O Llama tem mostrado excelente qualidade nas suas respostas podendo compreender e responder em v\u00e1rios idiomas. Tem ainda subconjuntos dele cuja proposta \u00e9 criar LLMs especializadas em determinadas tarefas em vez de tentar abarcar qualquer assunto.  O Codellama-34b-instruct \u00e9 um exemplo, que pretende se especializar na compreens\u00e3o cria\u00e7\u00e3o de c\u00f3digo e trabalha com 34 bilh\u00f5es de par\u00e2metros.<\/p>\n\n\n\n

Outra LLM, que considero ainda mais interessante \u00e9 o MISTRAL, projeto da Funda\u00e7\u00e3o Apache, com muitas subvariantes. Testei recentemente o mixtral-8x7b-instruct que apresentou excelente qualidade nas suas respostas.  O projeto do MISTRAL \u00e9 um aut\u00eantico projeto de software livre, com c\u00f3digo aberto, que pode ser alterado pelo usu\u00e1rio, e que pode ser distribu\u00eddo livremente, com altera\u00e7\u00f5es ou n\u00e3o. Melhor ainda, ele pode ser instalado nos servidores de uma intranet de uma empresa ou at\u00e9 mesmo no computador de um usu\u00e1rio!  Claro que voc\u00ea vai precisar ter capacidade computacional instalada poderosa e suficiente para poder rodar a LLM. N\u00e3o tanto quanto nos servidores do ChatGPT ou Bard porque sua proposta n\u00e3o vai ser atender solicita\u00e7\u00f5es do mundo inteiro mas apenas os funcion\u00e1rios de sua empresa ou um usu\u00e1rio individual, dependendo do caso.<\/p>\n\n\n\n

Para rodar o Mistral localmente no seu computador j\u00e1 aviso que o m\u00ednimo \u00e9 um processador com poder computacional semelhante a um Core i7 de 12 gera\u00e7\u00e3o, com 16 Gb de RAM e 1 Tb de espa\u00e7o e disco no m\u00ednimo.  Uma placa gr\u00e1fica poderosa vai tornar sua vida mais f\u00e1cil, como a serie de placas NVIDIA RTX-080 ou superior, com uma boa mem\u00f3ria RAM.<\/p>\n\n\n\n

Existe o site da Perplexity Labs  (https:\/\/labs.perplexity.ai\/ ), que permite testar online via prompt v\u00e1rias destas LLMS como as variantes da Llama, do Mistral e outros projetos. Voc\u00ea pode comparar a performance de cada uma delas, lembrando que alguma delas s\u00e3o especializadas, podendo se sair melhor realizando o tipo de tarefa para a qual foram especializadas em rela\u00e7\u00e3o a outras tarefas. Pelos testes que a comunidade j\u00e1 realizou, na qual me incluo, o Mistra tem desempenho semelhante ao ChatGPT 3.5 , s\u00f3 que \u00e9 LIVRE (ou LIBRE como prefere a comunidade).<\/p>\n\n\n\n

\n
\"\"<\/figure>\n<\/figure>\n\n\n\n

Tem ainda a possibilidade de voc\u00ea baixar uma dessas LLMs para seu computador e rodar localmente como j\u00e1 tinha mencionado. Uma maneira f\u00e1cil de fazer isso \u00e9 com ajuda do LM Studio (https:\/\/lmstudio.ai<\/a>). Voc\u00ea pode baixar a vers\u00e3o do LM Studio apropriada para seu sistema operacional, existem vers\u00f5es para Windows, para Mac e para Linux.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Uma vez instalado voc\u00ea pode escolher qual a LLM que voc\u00ea gostaria de baixar e instalar como sua LLM de trabalho. Al\u00e9m das vers\u00f5es do Llama e Mistral existem muitas outras dispon\u00edveis.\u00a0 Eu baixei e instalei a vers\u00e3o do Mistral, mixtral-8x7b-instruct. Embora minha m\u00e1quina tenha 16 Gb de RAM, meu processador seja o Core i7 de 12\u00aa. gera\u00e7\u00e3o e tenha 1Tb para armazenar dados, minha placa gr\u00e1fica \u00e9 NVIDIA mas n\u00e3o \u00e9 a RTX 080. Tamb\u00e9m n\u00e3o tenho GPUs instaladas. Mas mesmo com essas limita\u00e7\u00f5es consegui enviar alguns prompts localmente no meu computador para o mixtral e obter respostas. Perguntei em portugu\u00eas e ele respondeu em portugu\u00eas. Em outra ocasi\u00e3o ele respondeu em ingl\u00eas mas pedi para ele traduzir sua resposta para o portugu\u00eas, o que ele fez. O tempo de resposta foi de v\u00e1rios minutos mas n\u00e3o importa, eu tinha uma IA generativa morando no meu computador e respondendo minhas solicita\u00e7\u00f5es. Foi uma experi\u00eancia libertadora, foi como se uma IA tivesse se mudado da nuvem para meu notebook. Pelo menos foi isso que eu senti, sei que essa sensa\u00e7\u00e3o foi emocional apenas, mas eu estava muito contente. Por outro lado sei que uma IA\u00a0 de c\u00f3digo aberto como a do projeto Mistral, da Funda\u00e7\u00e3o Apache era confi\u00e1vel e n\u00e3o estaria transmitindo meus dados pelo ciberespa\u00e7o.\u00a0 Num ambiente corporativo, \u00e9 claro que seria poss\u00edvel montar um ambiente computacionalmente poderoso o suficiente para rodar o Mistral ou outra LLM com uma boa performance.\u00a0 Espero que tenham gostado. No momento que escrevo este artigo, n\u00e3o sabia se seria o meu \u00faltimo artigo de 2023 ou o primeiro de 2024, vai depender de quando voc\u00ea o ler. Abra\u00e7os e um bom 2024 para todos!<\/p>\n\n\n\n

\n

Ernesto Villafuerte Oyola<\/p>\nAnalista de Dados e Engenheiro de Software
Mestrado em Intelig\u00eancia Artificial – COPPE\/UFRJ
Aomega Consultoria e Treinamento
https:\/\/www.aomega.com.br<\/cite><\/blockquote>\n\n\n\n

<\/p>\n","protected":false},"excerpt":{"rendered":"

Este ano foi um ano disruptivo, com o surgimento do ChatGPT, modelo de intelig\u00eancia artificial generativa ou LLM (Large Language Model), a intelig\u00eancia artificial chegou de maneira avassaladora ao usu\u00e1rio final , de uma forma que surpreendeu todo mundo com sua facilidade de uso, a qualidade de suas respostas a perguntas das mais variadas em … <\/p>\n

Continue lendo “AL\u00c9M DO CHATGPT E DO SOFTWARE PROPRIET\u00c1RIO”<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"advanced_seo_description":"","jetpack_seo_html_title":"","jetpack_seo_noindex":false,"jetpack_seo_schema_type":"","_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_feature_clip_id":0,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"jetpack_post_was_ever_published":false},"categories":[2],"tags":[85,65,82,68,84,83],"class_list":["post-228","post","type-post","status-publish","format-standard","hentry","category-datascience","tag-bard","tag-chatgpt","tag-inteligencia-artificial-generativa","tag-llm","tag-mistral","tag-software-livre","entry"],"jetpack_publicize_connections":[],"jetpack_sharing_enabled":true,"jetpack_shortlink":"https:\/\/wp.me\/p7PCWO-3G","jetpack-related-posts":[],"jetpack_featured_media_url":"","_links":{"self":[{"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/posts\/228","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/comments?post=228"}],"version-history":[{"count":8,"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/posts\/228\/revisions"}],"predecessor-version":[{"id":243,"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/posts\/228\/revisions\/243"}],"wp:attachment":[{"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/media?parent=228"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/categories?post=228"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/softwarelivre-br.aomega.com.br\/index.php\/wp-json\/wp\/v2\/tags?post=228"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}