Ein funktionierender Prototyp ist der Anfang. Systeme im täglichen Betrieb brauchen Zugriffskontrollen, klare Grenzen, Tests, Monitoring und einen Plan für Ausfälle und neue Anforderungen.
Wir bereiten AI-Lösungen auf den Betrieb vor und begleiten sie danach, sofern vereinbart.
Was wir liefern
- Prüfung von Deployment und Datenflüssen
- Authentifizierung und Zugriffskontrollen
- Ein Evaluationsdatensatz und wiederholbare Tests
- Prüfung auf Prompt Injection und Sicherheit
- Logging, Monitoring und Kostenwarnungen
- Fallbacks und Fehlerbehandlung
- Mechanismen zur menschlichen Prüfung
- Dokumentation und Übergabe an das Team
- Laufende Wartung und Verbesserung, separat vereinbart
Technologie & Umsetzung
Zuerst kommt die Evaluation: ein Set repräsentativer Eingaben mit erwarteten Ergebnissen, das normale Fälle, Grenzfälle und Fälle abdeckt, die abgelehnt oder weitergegeben werden sollten. Es läuft vor dem Launch und nach jeder Änderung an Prompts, Modellen oder Daten, damit Rückschritte auffallen, bevor die Nutzer sie bemerken.
Danach folgen die Prüfungen für den Betrieb: Authentifizierung und Berechtigungen, welche Daten Ihre Umgebung verlassen und unter welchen Anbieterbedingungen, Rate Limits, Timeouts und Ausweichlösungen, wenn ein Anbieter nicht erreichbar ist, sowie Kostenwarnungen. Wo das System externe Inhalte liest, werden Risiken durch Prompt Injection geprüft.
Nach dem Launch überwacht das Monitoring Volumen, Kosten, Fehlerquoten und wie oft Menschen die Ausgaben korrigieren. Modelle und Anbieterbedingungen ändern sich; zur Wartung gehört, die Evaluation dann erneut laufen zu lassen.
Anwendungsbeispiel
Ein illustratives Szenario, keine Beschreibung eines abgeschlossenen Projekts.
Bevor ein interner AI-Assistent für ein grösseres Team freigegeben wird, testen wir ihn mit repräsentativen Fragen, prüfen die Zugriffsrechte, legen Eskalationsregeln fest und dokumentieren, wie seine Leistung überwacht wird.