Comprei IA para poupar tempo. Depois, comecei a contornar as suas limitações.

Às 23:47, voltei a abrir o portátil. Os meus créditos de IA estavam prestes a expirar.

Tinha voltado a pôr a escova de dentes no copo e ligado o telemóvel à corrente. Estava pronto para ir dormir. Depois, consultei a página de utilização e vi que um pacote de créditos que tinha pago expirava à meia-noite.

Fiquei ali parado durante alguns segundos. Já paguei por isto. Mais vale aproveitar.

Por isso, peguei numa pasta que tinha reservado para a tarde seguinte e arrastei-a para a conversa. Era um conjunto de apontamentos do projeto. Só queria um esboço. Dei a mim próprio meia hora.

Da próxima vez que olhei para o relógio, eram duas da manhã.

No dia seguinte, sentei-me com o café já frio e o trabalho que realmente pretendia fazer. Voltei sempre à mesma pergunta. Estava a usar a IA para poupar tempo ou a abdicar do meu tempo para poder usar toda a IA que tinha pago?

Ao princípio, cada subscrição fazia sentido

Sou freelancer. Crio sites, escrevo propostas e organizo os montes de material que os clientes me enviam antes de um projeto começar. Em pouco tempo, comecei a abrir uma ferramenta de IA para as três coisas. Podia dar-me um primeiro rascunho, ajudar-me a perceber um erro ou transformar meia página de apontamentos em algo com que pudesse realmente trabalhar.

A primeira subscrição foi uma decisão fácil. Depois paguei pelo Codex, porque o utilizava o suficiente para justificar o custo. Mantive outra ferramenta para os dias em que atingia o limite a meio de um trabalho. Também houve algumas compras de créditos e, de vez em quando, uma fatura da API.

Tinha dito a mim próprio que manteria tudo abaixo dos 200 dólares por mês. Quando finalmente somei tudo, já tinha ultrapassado esse valor.

Não me importava de pagar a conta se as ferramentas me ajudassem a entregar a tempo. O que me incomodava era pagar por todas e continuar sem saber se conseguiria terminar um trabalho na tarde do dia seguinte.

Comecei a gerir os prompts como se fossem horas faturáveis

A segunda-feira era para organizar os requisitos. A terça-feira, para programar. A quarta-feira precisava de algum espaço para as alterações do cliente. Fiz uma folha de cálculo com uma linha para cada ferramenta e colunas para o que me restava e quando esperava que a utilização fosse reposta.

Parecia que tinha tudo sob controlo. Na prática, estava a preparar-me para tomar mais uma série de decisões antes sequer de abrir o trabalho. Devia enviar já o briefing completo? Esta revisão podia consumir o resto da minha utilização? Devia guardar o Codex para a última revisão?

Uma vez, dividi um trabalho entre duas ferramentas para tirar o máximo partido do que ainda me restava. Voltei a colar o briefing, expliquei o que já tinha tentado e abri a mesma diferença de código. Quando a segunda ferramenta ficou a par, eu próprio já tinha perdido o fio à meada.

Noutra ocasião, uma resposta ficou simplesmente ali. Não conseguia perceber se esperar me daria uma resposta ou se tentar novamente gastaria mais do que me restava.

Um cliente perguntou se conseguia devolver-lhe uma revisão nesse mesmo dia. Antes de escrever «Vou fazer o possível», olhei para a hora da reposição no meu painel de utilização do Codex. Conseguia explicar uma alteração complicada a um cliente. Não fazia ideia de como explicar que estava a consultar um contador de utilização antes de lhe dar um prazo de entrega.

Até uma reposição começou a parecer um prazo

Habituei-me a verificar de manhã, por volta da hora de almoço e mais uma vez antes de terminar o dia, se havia atualizações sobre as reposições. Alguém no X já tinha recuperado a utilização. Outra pessoa continuava à espera. Uma vez, Tibo explicou que uma alteração ao sistema de cache fazia com que as sessões longas do Codex gastassem a quota mais depressa. A equipa reverteu a alteração e repôs a utilização.

Sempre que a minha utilização era reposta, procurava algo para fazer com ela. Uma vez, antecipei um projeto de fim de semana para sexta-feira à noite porque finalmente o podia executar. Noutra noite, disse à minha família que me juntaria a eles para jantar depois de enviar mais um último prompt.

Um prompt tornou-se dois. Depois, tive de verificar o resultado. Encontrei algo que queria alterar, por isso enviei-o de volta.

Quando cheguei à mesa, o jantar estava frio. Ninguém me tinha pedido para trabalhar até tarde. Simplesmente me habituara tanto a vigiar o contador que guardar o portátil enquanto ainda tinha margem me parecia um desperdício.

Começara a escolher tarefas com base naquilo que gastaria os créditos

Uma noite, olhei para a minha lista de tarefas e vi algo importante que andava a adiar há três dias. Tinha acabado de passar duas horas a organizar um conjunto de materiais de que só precisava mais para o final da semana. Era algo simples que podia pedir à ferramenta enquanto ainda tinha créditos para gastar.

Afastei a cadeira. Se estava a ficar sem créditos, passava as tarefas para o dia seguinte. Se me davam mais utilização, antecipava-as para essa noite. Começara a deixar que o contador decidisse qual era a primeira tarefa.

O que mais me agradava na IA, desde o início, era poder experimentar uma ideia enquanto ainda estava fresca. Ultimamente, metade das minhas ideias acabava com a mesma nota ao lado. Tentar novamente depois da reposição.

Encontrei um ponto de partida diferente na comunidade CasaOS

Estava à procura de uma forma melhor de organizar os ficheiros de projetos quando comecei a consultar conversas sobre a CasaOS e o alojamento próprio. As pessoas executavam modelos mais pequenos nas suas próprias máquinas e atribuíam-lhes uma tarefa de cada vez. Algumas mantinham os ficheiros e as ferramentas que os processavam no mesmo servidor. Foi aí que comecei a analisar a ZimaCube 2.

Revisei o meu trabalho recente e fiz uma pequena lista das coisas que experimentaria primeiro localmente.

• Transforme uma pasta de notas soltas num esboço.
• Elabore respostas para os mesmos tipos de e-mail a que respondo todas as semanas.
• Extraia alguns campos de texto que já preparei.
• Elabore um pequeno script que eu possa executar e verificar.
• Faça uma primeira revisão de textos de rotina.

Nenhuma destas tarefas parece muito importante por si só. Mas surgem ao longo de toda a semana. E estavam a consumir parte do limite que queria ter disponível quando surgisse uma alteração complicada num repositório.

Pela primeira vez, tive de perceber de que hardware precisava

Com uma subscrição, sabia onde encontrar o botão de atualização. Agora tentava perceber de quanta memória um modelo precisaria, quanta teria de caber na memória da GPU e se me importava esperar um pouco mais por uma tarefa em segundo plano. Comecei a analisar as configurações da ZimaCube 2 tendo em mente tarefas concretas.

Aprender a executar um modelo localmente demorou mais do que abrir outra conta. Um contentor não arrancava, por isso consultei os registos. Um modelo deu-me um esboço que não me servia, por isso experimentei uma parte mais pequena do material de origem e alterei o pedido. Continuei a deparar-me com tarefas lentas.

Pelo menos, tinha algo concreto para analisar. Estaria a usar o modelo errado para a tarefa? Teria dado informação a mais de uma só vez? Estaria a deparar-me com um limite do hardware? Cada resposta dava-me uma ideia melhor do que experimentar antes de gastar mais dinheiro.

Numa noite, estava a percorrer o YouTube quando encontrei um vídeo de Zero to MVP. Estava a executar modelos pequenos numa ZimaCube 2. Um extraía texto de imagens e ele usava outros para resumir e traduzir. Tinha passado tanto tempo a ler sobre hardware, e ali estava alguém a mostrar o tipo de trabalho que conseguia imaginar-me a fazer com ele. Isso levou-me a procurar outras configurações, incluindo um assistente privado e um NAS capaz de trabalhar com fotografias e documentos.

Os utilizadores do Zima dizem

Zero to MVP@ZeroToMVP

★★★★★

Modelos pequenos. Trabalho do dia a dia.

Explora modelos compactos no ZimaCube 2 para OCR, resumos de artigos e tradução de ficheiros, dando a tarefas específicas e repetíveis o seu próprio fluxo de trabalho local.

Alpha Nerd Tech@alphanerdtravels

★★★★★

Uma cloud privada, com uma camada de IA.

Combina o Nextcloud com um assistente Alpha AI alojado localmente no ZimaCube 2, reunindo ficheiros de projetos e um assistente personalizado num único ambiente autogerido.

野市零 / Zero Noichi@zero-onech

★★★★★

Dê uma nova função à informação armazenada.

Experiências com um NAS com IA no ZimaCube 2: etiquetas para fotografias, extração de documentos e pesquisa em linguagem natural. Um projeto de criador em evolução, que continua a exigir ajustes.

Continuei a usar as primeiras tarefas que correram bem localmente

Continuei a usar ferramentas na cloud para o trabalho em que se justificavam. Se estivesse a lidar com um problema de programação difícil ou precisasse de analisar um projeto complexo, continuava a recorrer a elas.

Para apontamentos, extração de texto e uma primeira reformulação, comecei por experimentar um modelo local. Conferia o resultado com o original. Algumas tarefas demoravam mais do que esperava, e as mais importantes continuavam a exigir uma leitura atenta. Mas, quando uma tarefa era executada inteiramente no meu próprio hardware, não consumia a minha quota do Codex.

Isso mudou um pouco a forma como começava a trabalhar. Se só queria um esboço a partir de um conjunto de apontamentos, podia abrir a pasta e começar por aí. Não precisava de abrir primeiro uma página de utilização.

O que fez com que valesse a pena foi um encerramento muito banal

Certa noite, terminei uma proposta e vi que ainda havia algumas coisas na minha lista. Estava cansado. Podiam esperar.

Guardei o ficheiro. Fechei o portátil. Nem me ocorreu verificar se alguma das minhas contas tinha sido reposta ou procurar apontamentos que pudesse passar por uma ferramenta antes de me deitar.

Tinha terminado o que queria terminar. Pela primeira vez em algum tempo, isso foi motivo suficiente para parar.

Dê outro lugar para o trabalho do dia a dia

Se alguma vez voltou a abrir o portátil porque voltou a precisar dele, comece por fazer aquilo que se tinha sentado para fazer nessa noite. Talvez fosse uma pasta de notas ou um conjunto de documentos que pudesse rever de uma só vez. Escolha uma tarefa que faça com frequência suficiente para notar quando pode ser executada localmente e continue a usar as ferramentas na cloud a que ainda recorre quando o trabalho se torna mais difícil.

• Standard for files and occasional CPU-based AI. Start here if your main job is storing project files and you only want to try small models for tasks like outlines or simple text extraction. Check that the model fits in memory and that CPU speed suits the job.
• Pro para um servidor doméstico mais ocupado, com margem para expansão. Escolha esta opção se for executar várias aplicações autoalojadas além do armazenamento, ou se quiser escolher a sua própria GPU compatível mais tarde. O Pro é fornecido sem GPU dedicada.
• Creator Pack (SKU ZCU084-R2) para uma utilização regular de IA local com GPU. Escolha esta opção se executar modelos compatíveis no servidor for uma prioridade desde o primeiro dia. Inclui uma NVIDIA RTX PRO 2000 com 16 GB de VRAM e 64 GB de memória do sistema. Verifique se o seu modelo e carga de trabalho são compatíveis com esta configuração.