Modelos, claves y límites

Elegir un modelo

Cada bubble tiene su propio modelo. Comienza en el modelo predeterminado que se establece en la página de modelos, y se puede cambiar en el inspector del bubble: proveedor, modelo, clave y formato de respuesta. Los modelos favoritos y los valores predeterminados por rol para un proyecto también se encuentran en la página de modelos.

OpenRouter y NVIDIA aceptan cualquier nombre de modelo que se escriba, por lo que un modelo que aún no esté en la lista se puede utilizar de todos modos.

Para añadir claves y saber dónde se almacenan, consultar Añadir una clave de proveedor.

Pools

Un pool es una lista ordenada de hasta ocho modelos (y hasta ocho claves) que un bubble utiliza como uno solo. Cuando el modelo en uso alcanza su límite de velocidad, no está disponible o sigue enviando respuestas que no se pueden leer, el pool pasa al siguiente elemento.

• Batch (el predeterminado), cycle y proportional deciden cómo se eligen los elementos.
• Un elemento fallido descansa durante diez minutos antes de volver a intentarlo.
• Una pasada espera como máximo ocho minutos en total para conseguir un elemento libre, y avisa cuando lleva tiempo esperando.

En los niveles gratuitos de los proveedores, los pools son de gran ayuda. Se colocan dos o tres modelos gratuitos en un pool, y un bubble sigue funcionando cuando uno de ellos se queda sin peticiones. Start free crea uno automáticamente: consultar Primera ejecución con modelos gratuitos.

Límites de velocidad

Perfica realiza un seguimiento de las peticiones por minuto y por día para cada modelo y clave, y espacia las llamadas para que un bubble no supere el límite del proveedor.

Calcula cada límite en este orden:

1. lo que se escribió en la página Limits,
2. lo que han enseñado las denegaciones por límite de velocidad del proveedor,
3. los límites publicados que incluye de serie (por ejemplo, los modelos gratuitos de OpenRouter a 20 por minuto y 50 al día, y el nivel gratuito de Google).

Los modelos locales (Ollama, LM Studio) no tienen límite.

Cuando se alcanza un límite

• Un pool omite un elemento cuyo cupo se ha agotado y pasa al siguiente.
• Cuando no queda nada a qué preguntar, el loop se pausa en el mismo bubble, con un aviso que indica cuándo se volverá a intentar, y luego se reanuda por sí solo: a la hora que indique el proveedor o el reinicio del día, o bien tras 5, 10, 20 y 40 minutos y después cada hora, siempre que el tablero se quede sin tocar. Pausar, detener o reproducir finaliza la espera; el aviso también ofrece Add a paid key.
• Nada de esto consume los límites de errores del loop, a menos que el loop tenga activado Continue on error, y un reintento que haya sido denegado antes de que responda cualquier modelo no cuenta como una de las pasadas del loop.

Cuando un proveedor no está disponible

Las conexiones caídas y los errores del servidor se vuelven a solicitar tres veces, durante unos siete segundos. Si el proveedor sigue sin estar disponible, el loop se detiene en el mismo bubble con un aviso, el proveedor del modelo dejó de responder, y espera a que se pulse Reproducir. No se cuenta ningún error.

Coste

La pestaña Usage muestra los tokens y el coste de este tablero a lo largo del tiempo, By model y By role, a partir de los recuentos de tokens del propio proveedor. Un modelo que la tabla de precios no cubra muestra n/a, nunca $0, y los totales se marcan con +. Los modelos locales de Ollama cuentan como gratuitos.

Imágenes

A un bubble se le pueden mostrar imágenes: pegadas en un mensaje del Manager o en una tarjeta de tarea, o leídas desde el proyecto. Si su modelo no puede ver, el modelo de visión del tablero describe la imagen en su lugar. Se configura en la página de modelos, en Helper models. Sin él, un modelo ciego se detiene con un aviso en lugar de adivinar qué muestra la imagen.