Este ano foi um ano disruptivo, com o surgimento do ChatGPT, modelo de inteligência artificial generativa ou LLM (Large Language Model), a inteligência artificial chegou de maneira avassaladora ao usuário final , de uma forma que surpreendeu todo mundo com sua facilidade de uso, a qualidade de suas respostas a perguntas das mais variadas em linguagem completamente coloquial, interagindo conosco de forma semelhante a uma conversação com um ser humano.
Agora o ChatGPT já se encontra na sua última versão, o ChatGPT-4 que é muito superior a versão anterior e que está disponível gratuitamente, o ChatGPT 3.5 . A Google que até então despontava na área de inteligência artificial , foi surpreendida pela OpenAI, criadora do ChatGPT, mas não demorou muitos meses para dar sua resposta, o Bard, que também apresenta respostas de muita qualidade e é um concorrente à altura do ChatGPT. Tanto o ChatGPT como o Bard entretanto ainda tem um problema, as “alucinações”, que acontecem quando estes não sabem a resposta e tentam responder dando respostas não baseada nos fatos, passam a “alucinar”, e dar respostas mirabolantes. Isto já está procurando ser corrigido.
Mas o que eu queria abordar é outro assunto, o que tão seguras são essas IAs generativas? A Microsoft incorporou o ChatGPT no Bing, que por sua vez já colhia e armazenava dados relacionados com nossas pesquisas podendo traçar um perfil do usuário. O Bing com ChatGPT vai continuar colhendo dados nossos, com ajuda agora da inteligência artificial? Práticamente certo que sim, assim como o Google faz, embora a empresa criadora do Bing com ChatGPT incorporado se esforce para tranquilizar os usuários dizendo que vai ser respeitada sua privacidade… “Morde aqui!” 😊 E isso também vale para o Google Bard e o próprio ChatGPT. Não por acaso existe a recomendação para empresas de não usar dados sigilosos nas interações com a nova inteligência artificial. Já houve denuncias de empresas que tiveram seus dados vazados fora do ambiente corporativo após interação de seus funcionários com o ChatGPT. Muitas empresas passaram a proibir o uso do ChatGPT dentro das empresas.
Mas tem como evitar que isto aconteça? Bom, primeiro você tem que entender que tanto o ChatGPT como o Bard respondem rapidamente a nossas requisições (prompts) porque eles estão hospedados em servidores muito poderosos com grande capacidade de computação. Então, como a maioria dos usuários e empresas não possui servidores com essa capacidade computacional, depende dos servidores do ChatGPT e Bard (agora com nova LLM embutida, o novo Gemini Pro).
Poderiamos ter uma versão do ChatGPT ou do Bard (com Gemini pro) hospedada nos servidores das próprias empresas usuárias? Não creio que a OpenAI ou a Google vão permitir isso. E mesmo que permitissem, quem garante que eles não vão continuar enviando informações sigilosas para fora da rede interna da empresa? Qual a saída então?
O uso de software livre! O software livre tem como característica não ser proprietário, ou seja não pertence a nenhuma empresa especificamente, mas é desenvolvido e mantido por uma comunidade de usuários. Ele permite também acesso ao código fonte, que pode ser auditado para detectar possíveis comportamentos indesejados como os que mencionei anteriormente. Pode ser instalado nos servidores internos da própria empresa, na sua intranet. Ah legal, você vai me dizer. Mas existe algum software livre de qualidade que possa competir com o ChatGPT ou o Bard? A resposta é SIM!!!
Embora menos conhecidos existem as LLMs de código aberto como o Llama do Facebook mas que embora seja de código aberto não garante que o Facebook decida em algum momento torná-lo proprietário. O Llama tem mostrado excelente qualidade nas suas respostas podendo compreender e responder em vários idiomas. Tem ainda subconjuntos dele cuja proposta é criar LLMs especializadas em determinadas tarefas em vez de tentar abarcar qualquer assunto. O Codellama-34b-instruct é um exemplo, que pretende se especializar na compreensão criação de código e trabalha com 34 bilhões de parâmetros.
Outra LLM, que considero ainda mais interessante é o MISTRAL, projeto da Fundação Apache, com muitas subvariantes. Testei recentemente o mixtral-8x7b-instruct que apresentou excelente qualidade nas suas respostas. O projeto do MISTRAL é um autêntico projeto de software livre, com código aberto, que pode ser alterado pelo usuário, e que pode ser distribuído livremente, com alterações ou não. Melhor ainda, ele pode ser instalado nos servidores de uma intranet de uma empresa ou até mesmo no computador de um usuário! Claro que você vai precisar ter capacidade computacional instalada poderosa e suficiente para poder rodar a LLM. Não tanto quanto nos servidores do ChatGPT ou Bard porque sua proposta não vai ser atender solicitações do mundo inteiro mas apenas os funcionários de sua empresa ou um usuário individual, dependendo do caso.
Para rodar o Mistral localmente no seu computador já aviso que o mínimo é um processador com poder computacional semelhante a um Core i7 de 12 geração, com 16 Gb de RAM e 1 Tb de espaço e disco no mínimo. Uma placa gráfica poderosa vai tornar sua vida mais fácil, como a serie de placas NVIDIA RTX-080 ou superior, com uma boa memória RAM.
Existe o site da Perplexity Labs (https://labs.perplexity.ai/ ), que permite testar online via prompt várias destas LLMS como as variantes da Llama, do Mistral e outros projetos. Você pode comparar a performance de cada uma delas, lembrando que alguma delas são especializadas, podendo se sair melhor realizando o tipo de tarefa para a qual foram especializadas em relação a outras tarefas. Pelos testes que a comunidade já realizou, na qual me incluo, o Mistra tem desempenho semelhante ao ChatGPT 3.5 , só que é LIVRE (ou LIBRE como prefere a comunidade).
Tem ainda a possibilidade de você baixar uma dessas LLMs para seu computador e rodar localmente como já tinha mencionado. Uma maneira fácil de fazer isso é com ajuda do LM Studio (https://lmstudio.ai). Você pode baixar a versão do LM Studio apropriada para seu sistema operacional, existem versões para Windows, para Mac e para Linux.
Uma vez instalado você pode escolher qual a LLM que você gostaria de baixar e instalar como sua LLM de trabalho. Além das versões do Llama e Mistral existem muitas outras disponíveis. Eu baixei e instalei a versão do Mistral, mixtral-8x7b-instruct. Embora minha máquina tenha 16 Gb de RAM, meu processador seja o Core i7 de 12ª. geração e tenha 1Tb para armazenar dados, minha placa gráfica é NVIDIA mas não é a RTX 080. Também não tenho GPUs instaladas. Mas mesmo com essas limitações consegui enviar alguns prompts localmente no meu computador para o mixtral e obter respostas. Perguntei em português e ele respondeu em português. Em outra ocasião ele respondeu em inglês mas pedi para ele traduzir sua resposta para o português, o que ele fez. O tempo de resposta foi de vários minutos mas não importa, eu tinha uma IA generativa morando no meu computador e respondendo minhas solicitações. Foi uma experiência libertadora, foi como se uma IA tivesse se mudado da nuvem para meu notebook. Pelo menos foi isso que eu senti, sei que essa sensação foi emocional apenas, mas eu estava muito contente. Por outro lado sei que uma IA de código aberto como a do projeto Mistral, da Fundação Apache era confiável e não estaria transmitindo meus dados pelo ciberespaço. Num ambiente corporativo, é claro que seria possível montar um ambiente computacionalmente poderoso o suficiente para rodar o Mistral ou outra LLM com uma boa performance. Espero que tenham gostado. No momento que escrevo este artigo, não sabia se seria o meu último artigo de 2023 ou o primeiro de 2024, vai depender de quando você o ler. Abraços e um bom 2024 para todos!
Ernesto Villafuerte Oyola
Analista de Dados e Engenheiro de Software
Mestrado em Inteligência Artificial – COPPE/UFRJ
Aomega Consultoria e Treinamento
https://www.aomega.com.br