Bayes' Theorem

Einfach erklärt

Bayes’ Theorem sagt: Aktualisiere deine Überzeugung, wenn du neue Beweise bekommst.

Die Formel:

P(A|B) = P(B|A) × P(A) / P(B)

P(A|B)  = Posterior: Wahrscheinlichkeit von A, gegeben B
P(B|A)  = Likelihood: Wie wahrscheinlich ist B, wenn A wahr ist
P(A)    = Prior: Ursprüngliche Überzeugung über A
P(B)    = Evidence: Gesamtwahrscheinlichkeit von B

Beispiel: Medizinischer Test

Krankheit betrifft 1% der Bevölkerung (Prior)
Test ist 90% genau (Likelihood)
Du testest positiv – wie wahrscheinlich bist du krank?

P(krank|positiv) = P(positiv|krank) × P(krank) / P(positiv)
                 = 0.90 × 0.01 / 0.108
                 = 8.3%

Überraschend niedrig! Weil die Krankheit selten ist.

Technischer Deep Dive

Bayesian Update

def bayesian_update(prior, likelihood, evidence):
    posterior = (likelihood * prior) / evidence
    return posterior

# Spam-Filter Beispiel
prior_spam = 0.3  # 30% aller E-Mails sind Spam
likelihood_word_given_spam = 0.8  # "Gewinn" in 80% der Spam-Mails
evidence_word = 0.35  # "Gewinn" in 35% aller Mails

posterior = bayesian_update(prior_spam, likelihood_word_given_spam, evidence_word)
# = 0.69 → 69% Wahrscheinlichkeit für Spam

Naive Bayes Classifier

import numpy as np

class NaiveBayes:
    def fit(self, X, y):
        self.classes = np.unique(y)
        self.priors = {}
        self.likelihoods = {}
        
        for c in self.classes:
            X_c = X[y == c]
            self.priors[c] = len(X_c) / len(X)
            self.likelihoods[c] = {
                'mean': X_c.mean(axis=0),
                'var': X_c.var(axis=0)
            }
    
    def predict(self, X):
        posteriors = []
        for c in self.classes:
            prior = np.log(self.priors[c])
            likelihood = self._likelihood(X, c)
            posteriors.append(prior + likelihood)
        return self.classes[np.argmax(posteriors)]