Data Validation

Einfach erklärt

Data Validation prüft automatisch, ob Daten korrekt sind – bevor sie Schaden anrichten.

Was prüfen:

Prüfung	Beispiel
Schema	Ist age eine Zahl?
Nulls	Ist email ausgefüllt?
Bereich	Ist age zwischen 0 und 150?
Format	Ist email eine gültige E-Mail?
Referenz	Existiert customer_id in Customers?

Technischer Deep Dive

Great Expectations

import great_expectations as gx

# Expectation Suite definieren
suite = gx.ExpectationSuite("orders_suite")

suite.add_expectation(
    gx.expectations.ExpectColumnValuesToNotBeNull(column="order_id")
)
suite.add_expectation(
    gx.expectations.ExpectColumnValuesToBeBetween(
        column="total", min_value=0, max_value=100000
    )
)

# Validieren
results = validator.validate(dataframe)
if not results.success:
    raise DataQualityError(results)

Pydantic für APIs

from pydantic import BaseModel, EmailStr, validator

class User(BaseModel):
    name: str
    email: EmailStr
    age: int
    
    @validator('age')
    def age_must_be_valid(cls, v):
        if not 0 <= v <= 150:
            raise ValueError('Invalid age')
        return v