Architektur DevOps
A/B Rollout
A/B Rollout / Gradual Rollout / Percentage Rollout
Eine Deployment-Strategie, bei der neue Features schrittweise an Nutzergruppen ausgerollt werden – kombiniert A/B-Testing mit kontrolliertem Release.
DevOps
Ein Modell zu trainieren ist eine Sache – es zuverlässig in Produktion zu betreiben eine andere. MLOps, Containerisierung, Monitoring und Deployment-Strategien sind die Themen dieser Kategorie. Hier lernst du, wie KI-Systeme skalierbar, wartbar und kosteneffizient betrieben werden.
DevOps Daten
Apache Kafka
Apache Kafka
Eine verteilte Streaming-Plattform für den Echtzeit-Transport von Daten zwischen Systemen – das Rückgrat moderner ML-Pipelines, Feature Stores und Event-Driven Architectures.
Web DevOps
API (Application Programming Interface)
Application Programming Interface
Eine definierte Schnittstelle, über die Softwaresysteme miteinander kommunizieren können – der Standard für die Integration von KI-Diensten in Anwendungen.
Web DevOps
API Gateway
API Gateway
Ein zentraler Einstiegspunkt für API-Anfragen, der Routing, Authentifizierung, Rate Limiting und andere Querschnittsfunktionen übernimmt.
Architektur DevOps
Autoscaling
Autoscaling / Auto Scaling
Die automatische Anpassung von Compute-Ressourcen basierend auf Last – mehr Server bei hoher Nachfrage, weniger bei niedriger. Kosteneffizient und performant.
Architektur DevOps
Blue-Green Deployment
Blue-Green Deployment
Eine Deployment-Strategie mit zwei identischen Produktionsumgebungen – schneller Wechsel zwischen Versionen ohne Downtime und einfaches Rollback.
Web DevOps
Caching
Caching
Das Zwischenspeichern von häufig angefragten Daten oder Berechnungsergebnissen, um wiederholte Anfragen schneller und günstiger zu beantworten.
DevOps Praxis
Canary Deployment
Canary Deployment / Canary Release
Eine Deployment-Strategie, bei der neue Modellversionen zunächst nur einem kleinen Teil der Nutzer ausgeliefert werden, um Probleme früh zu erkennen.
Web DevOps
CDN (Content Delivery Network)
Content Delivery Network
Ein globales Netzwerk von Servern, das Inhalte von geografisch nahen Standorten ausliefert – für schnellere Ladezeiten und bessere Verfügbarkeit.
Web DevOps
CI/CD (Continuous Integration / Continuous Deployment)
Continuous Integration / Continuous Deployment
Automatisierte Prozesse, die Code-Änderungen kontinuierlich testen (CI) und in Produktion bringen (CD) – für schnellere und zuverlässigere Software-Releases.
Architektur DevOps
Cold Start
Cold Start
Die Verzögerung beim ersten Aufruf einer Serverless-Funktion oder eines skalierten Services – wenn Container oder VMs erst gestartet werden müssen.
Web DevOps
Container (Docker)
Container / Docker
Eine Technologie, die Anwendungen mit allen Abhängigkeiten in isolierte, portable Pakete verpackt – damit sie überall gleich laufen.
LLM DevOps
Context Caching
Context Caching
Eine Optimierungstechnik, die häufig verwendete Kontexte (System-Prompts, Dokumente, Beispiele) zwischen LLM-Aufrufen zwischenspeichert, um Kosten und Latenz bei wiederholten Anfragen drastisch zu reduzieren.
Daten DevOps
Data Lake
Data Lake
Ein zentraler Speicher, der große Mengen an Rohdaten in ihrem ursprünglichen Format aufnimmt – strukturiert, semi-strukturiert und unstrukturiert.
Daten DevOps
Data Lineage
Data Lineage
Die Dokumentation des Datenflusses von der Quelle bis zum Endprodukt – woher kommen Daten, wie werden sie transformiert, wo werden sie verwendet.
Daten DevOps
Data Mesh
Data Mesh
Ein Architekturansatz, bei dem Dateneigentum und -verantwortung dezentralisiert werden – jedes Team besitzt und verwaltet seine eigenen Daten als Produkt, statt alles in einem zentralen Data Warehouse zu bündeln.
Daten DevOps
Data Pipeline
Data Pipeline
Eine automatisierte Abfolge von Schritten, die Daten von der Quelle über Transformation bis zum Ziel transportiert und verarbeitet.
Sicherheit DevOps
Data Residency
Data Residency / Data Localization
Die Anforderung, dass Daten in bestimmten geografischen Regionen gespeichert werden müssen – relevant für DSGVO, Compliance und Datensouveränität.
Daten DevOps
Data Warehouse
Data Warehouse
Ein zentrales Datenspeichersystem, das strukturierte, aufbereitete Daten aus verschiedenen Quellen für schnelle analytische Abfragen optimiert bereitstellt.
Web DevOps
DevOps
DevOps
Eine Kultur und Praxis, die Softwareentwicklung (Dev) und IT-Betrieb (Ops) vereint, um Software schneller, zuverlässiger und automatisierter zu liefern.
DevOps Praxis
DevOps
MLOps (Machine Learning Operations)
Die Praxis, Machine-Learning-Modelle zuverlässig und effizient in Produktion zu bringen und zu betreiben – die Verbindung von ML, DevOps und Data Engineering.
Grundlagen DevOps
Distillation (Knowledge Distillation)
Knowledge Distillation
Eine Technik, bei der ein kleines 'Schüler'-Modell trainiert wird, das Verhalten eines großen 'Lehrer'-Modells nachzuahmen – für effizientere Inferenz bei ähnlicher Qualität.
DevOps Grundlagen
Drift (Data Drift / Model Drift)
Data Drift / Model Drift / Concept Drift
Die schleichende Verschlechterung eines ML-Modells in Produktion, weil sich die Eingabedaten oder die Zusammenhänge zwischen Eingabe und Ausgabe über die Zeit verändern.
Web DevOps
Edge Computing
Edge Computing
Die Verarbeitung von Daten nahe am Entstehungsort (am 'Rand' des Netzwerks) statt in einem zentralen Rechenzentrum – für niedrigere Latenz und besseren Datenschutz.
Daten DevOps
ETL / ELT
ETL / ELT
Zwei Muster für Datenpipelines: ETL transformiert Daten vor dem Laden, ELT lädt Rohdaten zuerst und transformiert sie im Zielsystem.
Architektur DevOps
Event-Driven Architecture
Event-Driven Architecture
Ein Architekturmuster, bei dem Komponenten über Ereignisse (Events) kommunizieren statt über direkte Aufrufe – ideal für lose Kopplung, Skalierbarkeit und Echtzeit-Datenverarbeitung in KI-Systemen.
Web DevOps
Event-Driven Architecture
Event-Driven Architecture (EDA)
Ein Architekturmuster, bei dem Komponenten über Ereignisse (Events) kommunizieren statt direkt miteinander – für lose Kopplung, Skalierbarkeit und Reaktionsfähigkeit.
DevOps Praxis
Experiment Tracking
Experiment Tracking
Die systematische Dokumentation von ML-Experimenten – Hyperparameter, Metriken, Code-Versionen und Artefakte, um Ergebnisse reproduzierbar und vergleichbar zu machen.
Daten DevOps
Feature Drift
Feature Drift / Data Drift
Eine Veränderung in der statistischen Verteilung der Eingabe-Features eines ML-Modells über Zeit – kann zu Leistungseinbußen führen, auch wenn das Modell selbst unverändert ist.
DevOps Web
Feature Flags
Feature Flags (Feature Toggles)
Konfigurationsschalter, die es ermöglichen, Features im laufenden Betrieb ein- und auszuschalten – ohne neues Deployment. Ermöglichen Canary Releases, A/B-Tests und sofortige Rollbacks.
Daten DevOps
Feature Store
Feature Store
Eine zentrale Plattform zur Speicherung, Verwaltung und Bereitstellung von ML-Features, die Konsistenz zwischen Training und Produktion sicherstellt.
Web DevOps
GraphQL
GraphQL
Eine Abfragesprache für APIs, die es Clients ermöglicht, genau die Daten anzufordern, die sie brauchen – nicht mehr und nicht weniger.
DevOps Architektur
Groq
Groq
Ein KI-Hardwareunternehmen, das mit seiner Language Processing Unit (LPU) extrem schnelle LLM-Inferenz ermöglicht – bis zu 10× schneller als GPU-basierte Lösungen bei niedrigeren Kosten.
Sicherheit DevOps
IAM (Identity and Access Management)
Identity and Access Management
Das Framework zur Verwaltung digitaler Identitäten und deren Zugriffsrechte – wer darf was in welchem System tun.
DevOps
Infrastructure as Code
Infrastructure as Code (IaC)
Das Prinzip, IT-Infrastruktur (Server, Netzwerke, Datenbanken) nicht manuell zu konfigurieren, sondern als versionierten Code zu definieren und automatisch bereitzustellen.
Sicherheit DevOps
Key Rotation
Key Rotation / Credential Rotation
Der regelmäßige Austausch von kryptografischen Schlüsseln und Credentials – reduziert das Risiko bei Kompromittierung.
Web DevOps
Kubernetes
Kubernetes (K8s)
Eine Open-Source-Plattform zur Automatisierung von Deployment, Skalierung und Verwaltung von Container-Anwendungen – der Standard für Container-Orchestrierung.
LLM DevOps
LLM Evaluation
LLM Evaluation (Evals)
Methoden und Metriken zur systematischen Bewertung der Qualität, Zuverlässigkeit und Sicherheit von Large Language Models und KI-Anwendungen – von automatisierten Benchmarks bis zu menschlichem Feedback.
LLM DevOps
LLM Router
LLM Router
Ein System, das eingehende LLM-Anfragen basierend auf Komplexität, Kosten oder Anforderungen automatisch an das optimale Modell weiterleitet – für bessere Performance bei geringeren Kosten.
Web DevOps
Load Balancing
Load Balancing
Das Verteilen von eingehenden Anfragen auf mehrere Server oder Instanzen, um Überlastung zu vermeiden, Ausfallsicherheit zu erhöhen und die Performance zu optimieren.
Web DevOps
Message Queue
Message Queue
Ein Kommunikationsmuster, bei dem Nachrichten in einer Warteschlange zwischengespeichert werden – ermöglicht asynchrone, entkoppelte Kommunikation zwischen Services.
Web DevOps
Microservices
Microservices
Ein Architekturmuster, bei dem eine Anwendung aus vielen kleinen, unabhängigen Services besteht, die jeweils eine spezifische Aufgabe erfüllen.
DevOps Praxis
MLflow
MLflow
Eine Open-Source-Plattform für den gesamten ML-Lifecycle: Experiment-Tracking, Modell-Registry, Deployment und Reproduzierbarkeit von ML-Projekten.
DevOps Praxis
Model Deployment
Model Deployment
Der Prozess, ein trainiertes ML-Modell in eine Produktionsumgebung zu bringen, wo es Vorhersagen für echte Nutzer und Anwendungen liefert.
Sicherheit DevOps
Model Governance
Model Governance / AI Governance
Richtlinien, Prozesse und Kontrollen für die verantwortungsvolle Entwicklung, Bereitstellung und Überwachung von KI-Modellen über ihren gesamten Lebenszyklus.
DevOps Praxis
Model Registry
Model Registry
Ein zentrales Repository zur Versionierung, Speicherung und Verwaltung von Machine-Learning-Modellen – mit Metadaten, Lineage und Deployment-Status.
Business DevOps
Model Risk Management
Model Risk Management (MRM)
Systematische Identifikation, Bewertung und Kontrolle von Risiken durch ML-Modelle – von Bias über Drift bis zu regulatorischen Anforderungen.
DevOps Architektur
Model Versioning
Model Versioning
Die systematische Verwaltung verschiedener Versionen von ML-Modellen – inklusive Gewichte, Hyperparameter, Trainingsdaten und Metriken für Reproduzierbarkeit.
DevOps Praxis
Monitoring
Monitoring
Die kontinuierliche Überwachung von KI-Systemen in Produktion, um Performance-Probleme, Datenänderungen und Modellverschlechterung frühzeitig zu erkennen.
DevOps
Observability
Observability
Die Fähigkeit, den internen Zustand eines Systems anhand seiner externen Ausgaben zu verstehen – bestehend aus den drei Säulen Logs, Metrics und Traces.
Praxis DevOps
Prompt Caching
Prompt Caching
Eine Optimierungstechnik bei LLM-APIs, bei der wiederkehrende Teile eines Prompts (z.B. System-Prompts oder lange Dokumente) gecacht werden, um Latenz und Kosten zu reduzieren.
Architektur DevOps
Pruning
Pruning
Eine Optimierungstechnik, bei der unwichtige Gewichte oder Neuronen aus einem trainierten Modell entfernt werden – für kleinere, schnellere Modelle mit minimaler Qualitätseinbuße.
DevOps Praxis
PyTorch
PyTorch
Ein Open-Source Deep Learning Framework von Meta, das für seine Flexibilität, dynamische Graphen und Python-native Entwicklung bekannt ist – der Standard in Forschung und zunehmend in Produktion.
DevOps Grundlagen
Quantisierung
Quantization
Eine Optimierungstechnik, die die Präzision der Gewichte eines KI-Modells reduziert (z.B. von 32-Bit auf 4-Bit), um Speicherbedarf und Rechenaufwand drastisch zu senken.
Web DevOps
Rate Limiting
Rate Limiting
Eine Technik zur Begrenzung der Anzahl von API-Anfragen pro Zeiteinheit – schützt vor Überlastung, Missbrauch und hilft bei der Kostenkontrolle.
DevOps Grundlagen
Reproducibility
Reproducibility
Die Fähigkeit, ML-Experimente und Modelle exakt zu reproduzieren – gleiche Daten, gleicher Code, gleiche Ergebnisse. Grundprinzip für wissenschaftliche und produktive ML-Arbeit.
Web DevOps
REST (Representational State Transfer)
Representational State Transfer
Ein Architekturstil für Web-APIs, der auf HTTP-Methoden und Ressourcen basiert – der De-facto-Standard für die meisten Web-Schnittstellen und KI-APIs.
DevOps Digital
SaaS, PaaS und IaaS
SaaS / PaaS / IaaS
Die drei grundlegenden Cloud-Servicemodelle: Software as a Service (fertige Anwendungen), Platform as a Service (Entwicklungsplattform) und Infrastructure as a Service (virtuelle Infrastruktur).
Web DevOps
SDK (Software Development Kit)
Software Development Kit
Ein Paket aus Bibliotheken, Tools und Dokumentation, das Entwicklern die Integration einer API oder Plattform in ihre Anwendung erleichtert.
Sicherheit DevOps
Secrets Management
Secrets Management
Die sichere Speicherung und Verwaltung von sensiblen Daten wie API-Keys, Passwörtern und Zertifikaten – nie im Code, immer verschlüsselt.
Web DevOps
Serverless
Serverless Computing
Ein Cloud-Computing-Modell, bei dem der Cloud-Anbieter die Server-Infrastruktur vollständig verwaltet – Entwickler deployen nur ihren Code, der bei Bedarf ausgeführt wird.
DevOps Web
Service Mesh
Service Mesh
Eine dedizierte Infrastrukturschicht, die die Kommunikation zwischen Microservices übernimmt – inklusive Load Balancing, Verschlüsselung, Observability und Traffic-Management.
Architektur DevOps
Shadow Deployment
Shadow Deployment / Shadow Mode / Dark Launch
Eine Deployment-Strategie, bei der eine neue Version parallel zur Produktion läuft und echten Traffic erhält, aber keine Antworten an Nutzer sendet – für risikofreies Testen.
Architektur DevOps
SLA, SLO, SLI
Service Level Agreement / Objective / Indicator
Die drei Säulen der Service-Zuverlässigkeit – SLI misst, SLO definiert Ziele, SLA ist der Vertrag. Grundlage für Reliability Engineering.
DevOps Praxis
TensorFlow
TensorFlow
Ein Open-Source Deep Learning Framework von Google, bekannt für Produktion, Mobile Deployment und das Keras-API – historisch das erste große DL-Framework.
Daten DevOps
Vector Search
Vector Search / Nearest Neighbor Search
Eine Suchmethode, die Daten als hochdimensionale Vektoren darstellt und die ähnlichsten Vektoren zu einer Anfrage findet – die Grundlage für semantische Suche und RAG.
Daten DevOps
Vektordatenbank
Vector Database
Eine spezialisierte Datenbank, die hochdimensionale Vektoren (Embeddings) speichert und effiziente Ähnlichkeitssuchen ermöglicht.
Business DevOps
Vendor Lock-in
Vendor Lock-in
Die Abhängigkeit von einem Anbieter, die einen Wechsel schwierig oder teuer macht – ein Risiko bei Cloud, SaaS und proprietären Technologien.
Web DevOps
Webhook
Webhook
Ein Mechanismus, bei dem ein Server automatisch eine HTTP-Anfrage an eine vordefinierte URL sendet, wenn ein bestimmtes Ereignis eintritt – 'Don't call us, we'll call you'.
Web DevOps
Webhooks
Webhooks
Ein Mechanismus, bei dem ein Server automatisch eine HTTP-Anfrage an eine vordefinierte URL sendet, sobald ein bestimmtes Event eintritt – die einfachste Form der Echtzeit-Integration.
DevOps Praxis
Weights & Biases (W&B)
Weights & Biases (W&B, wandb)
Eine MLOps-Plattform für Experiment-Tracking, Modell-Visualisierung und Team-Kollaboration – der Standard in der KI-Forschung und bei führenden KI-Unternehmen.