Modelos, chaves e limites

Escolhendo um modelo

Cada bubble tem seu próprio modelo. Ela começa com o model padrão que você definiu na página Modelos, e você pode alterá-lo no inspetor da bubble: provedor, modelo, chave e formato de resposta. Modelos favoritos e padrões por função para um projeto também ficam na página Modelos.

OpenRouter e NVIDIA aceitam qualquer nome de modelo que você digitar, portanto, um modelo que ainda não está na lista pode ser usado.

Para adicionar chaves e ver onde elas são armazenadas, consulte Adicionar uma chave de provedor.

Pools

Um pool é uma lista ordenada de até oito modelos (e até oito chaves) que uma bubble usa como um só. Quando o modelo em uso atinge o limite de taxa, cai ou continua enviando respostas que não consegue ler, o pool passa para a próxima entrada.

• Batch (o padrão), cycle e proportional decidem como as entradas são escolhidas.
• Uma entrada com falha descansa por dez minutos antes de ser tentada novamente.
• Uma passada espera no máximo oito minutos no total por uma entrada livre e avisa quando estiver esperando.

Nos níveis gratuitos de provedores, os pools ajudam bastante. Coloque dois ou três modelos gratuitos em um pool, e uma bubble continua funcionando quando um deles fica sem requisições. Start free cria um para você: consulte Primeira execução em modelos gratuitos.

Limites de taxa

O Perfica rastreia requisições por minuto e por dia para cada modelo e chave, e espaça as chamadas para que uma bubble não atinja o limite do provedor.

Ele calcula cada limite nesta ordem:

1. o que você digitou na página Limits,
2. o que as recusas por limite de taxa do provedor lhe ensinaram,
3. os limites publicados que acompanham o aplicativo (por exemplo, os modelos gratuitos do OpenRouter a 20 por minuto e 50 por dia, e o nível gratuito do Google).

Modelos locais (Ollama, LM Studio) não têm limite.

Quando um limite é atingido

• Um pool pula uma entrada cuja cota foi gasta e vai para a próxima.
• Quando não resta nada para perguntar, o loop pausa na mesma bubble, com um aviso dizendo quando tentará novamente, e depois retoma sozinho: no horário fornecido pelo provedor ou pelo reset do dia, ou caso contrário após 5, 10, 20 e 40 minutos e depois a cada hora, enquanto o quadro for deixado sem alteração. Pausa, Parar ou Reproduzir encerra a espera; o aviso também oferece Add a paid key.
• Nada disso gasta os limites de erro do loop, a menos que o loop esteja com Continue on error ativado, e uma tentativa que foi recusada antes de qualquer modelo responder não conta como uma das passadas do loop.

Quando um provedor está fora do ar

Conexões perdidas e erros de servidor são tentados novamente três vezes, em cerca de sete segundos. Se o provedor ainda estiver fora do ar, o loop para na mesma bubble com um aviso, o provedor do modelo parou de responder, e aguarda por Reproduzir. Nenhum erro é contabilizado.

Custo

A aba Usage mostra os tokens e o custo deste quadro ao longo do tempo, Por modelo e Por função, a partir das contagens de tokens do próprio provedor. Um modelo que a tabela de preços não cobre mostra n/a, nunca $0, e os totais são marcados com +. Modelos locais do Ollama contam como gratuitos.

Imagens

Uma bubble pode receber imagens: coladas em uma mensagem do Manager ou em um cartão de tarefa, ou lidas a partir do projeto. Se o modelo dela não puder ver, o vision model do quadro descreve a imagem em vez disso. Defina-o na página Modelos em Helper models. Sem um, um modelo cego para com um aviso em vez de adivinhar o que a imagem mostra.