Data Quality

Einfach erklärt

Data Quality misst, wie gut Daten für ihren Zweck geeignet sind.

Die 6 Dimensionen:

Dimension	Frage	Metrik
Vollständigkeit	Fehlen Werte?	% Non-Null
Genauigkeit	Sind Werte korrekt?	% valide
Konsistenz	Stimmen Quellen überein?	% Match
Aktualität	Wie alt sind Daten?	Alter in Stunden
Einzigartigkeit	Gibt es Duplikate?	% unique
Validität	Entsprechen Werte dem Format?	% valid format

Technischer Deep Dive

Data Quality Score

def calculate_dq_score(df):
    scores = {
        'completeness': 1 - df.isnull().mean().mean(),
        'uniqueness': df.duplicated().mean(),
        'validity': validate_formats(df)
    }
    return sum(scores.values()) / len(scores)

Monitoring

# Great Expectations für automatisches Monitoring
checkpoint = gx.Checkpoint(
    name="daily_orders_check",
    data_context=context,
    validations=[
        {"batch_request": batch, "expectation_suite_name": "orders"}
    ]
)

# In Airflow/Dagster einbinden
results = checkpoint.run()
if not results.success:
    alert_data_team(results)