Modelle, Schlüssel und Limits

Ein Modell auswählen

Jede Bubble hat ihr eigenes Modell. Sie startet mit dem Standardmodell, das du auf der Seite „Modelle“ festgelegt hast, und du kannst es im Inspektor der Bubble ändern: Anbieter, Modell, Schlüssel und Antwortformat. Favoritenmodelle und Standards für bestimmte Rollen in einem Projekt befinden sich ebenfalls auf der Seite „Modelle“.

OpenRouter und NVIDIA akzeptieren jeden eingegebenen Modellnamen, sodass ein Modell, das noch nicht in der Liste steht, trotzdem verwendet werden kann.

Informationen zum Hinzufügen von Schlüsseln und zu deren Speicherort findest du unter Einen Anbieterschlüssel hinzufügen.

Pools

Ein Pool ist eine geordnete Liste von bis zu acht Modellen (und bis zu acht Schlüsseln), die eine Bubble als Einheit verwendet. Wenn das verwendete Modell rate-limited ist, ausfällt oder weiterhin Antworten sendet, die nicht gelesen werden können, geht der Pool zum nächsten Eintrag über.

• Batch (der Standard), Cycle und Proportional bestimmen, wie Einträge ausgewählt werden.
• Ein fehlgeschlagener Eintrag ruht zehn Minuten lang, bevor er erneut versucht wird.
• Ein Durchgang wartet insgesamt höchstens acht Minuten auf einen freien Eintrag und teilt dir mit, wenn er gewartet hat.

In kostenlosen Anbietertarifen sind Pools besonders hilfreich. Lege zwei oder drei kostenlose Modelle in einen Pool, und eine Bubble arbeitet weiter, wenn eines davon keine Anfragen mehr frei hat. Kostenlos starten erstellt einen für dich: siehe Erster Lauf mit kostenlosen Modellen.

Rate-Limits

Perfica verfolgt Anfragen pro Minute und pro Tag für jedes Modell und jeden Schlüssel und zeitlich abgestimmt Aufrufe, damit eine Bubble nicht das Limit des Anbieters überschreitet.

Es ermittelt jedes Limit in dieser Reihenfolge:

1. was du auf der Seite Limits eingegeben hast,
2. was die Ablehnungen des Anbieters bezüglich der Rate-Limits gelehrt haben,
3. die veröffentlichten Limits, mit denen es ausgeliefert wird (zum Beispiel die kostenlosen Modelle von OpenRouter mit 20 pro Minute und 50 pro Tag sowie der kostenlose Tarif von Google).

Lokale Modelle (Ollama, LM Studio) haben kein Limit.

Wenn ein Limit erreicht ist

• Ein Pool überspringt einen Eintrag, dessen Kontingent erschöpft ist, und geht zum nächsten über.
• Wenn nichts mehr angefragt werden kann, pausiert der Loop bei derselben Bubble mit einem Hinweis, wann er es erneut versucht, und läuft dann von selbst weiter: zu dem Zeitpunkt, den der Anbieter oder das tägliche Zurücksetzen vorgibt, oder ansonsten nach 5, 10, 20 und 40 Minuten und danach stündlich, solange das Board nicht angerührt wird. Pause, Stopp oder Wiedergabe beenden das Warten; der Hinweis bietet außerdem Bezahlten Schlüssel hinzufügen an.
• Nichts davon verbraucht die Fehlerlimits des Loops, es sei denn, der Loop hat Bei Fehler fortfahren aktiviert, und ein Wiederholungsversuch, der vor der Antwort eines Modells abgelehnt wurde, zählt nicht als einer der Durchgänge des Loops.

Wenn ein Anbieter ausfällt

Getrennte Verbindungen und Serverfehler werden dreimal im Abstand von etwa sieben Sekunden erneut angefragt. Wenn der Anbieter immer noch ausfällt, stoppt der Loop bei derselben Bubble mit dem Hinweis Der Modell-Anbieter antwortet nicht mehr und wartet auf die Wiedergabe. Es wird kein Fehler gezählt.

Kosten

Die Registerkarte Nutzung zeigt die Token und Kosten dieses Boards im Zeitverlauf an, aufgeteilt nach Nach Modell und Nach Rolle, basierend auf den eigenen Zählungen des Anbieters für Token. Ein Modell, das nicht in der Preistabelle abgedeckt ist, zeigt n/a an, niemals 0 $, und Summen werden mit + markiert. Lokale Ollama-Modelle zählen als kostenlos.

Bilder

Einer Bubble können Bilder angezeigt werden: eingefügt in eine Manager-Nachricht oder eine Task-Karte oder aus dem Projekt gelesen. Wenn ihr Modell nicht sehen kann, beschreibt stattdessen das Vision-Modell des Boards das Bild. Lege es auf der Seite „Modelle“ unter Hilfsmodelle fest. Ohne ein solches stoppt ein blindes Modell mit einem Hinweis, anstatt zu raten, was das Bild zeigt.