Bayes' Theorem

Bayes’ Theorem im Überblick

Bayes’ Theorem sagt: Aktualisiere deine Überzeugung, wenn du neue Beweise bekommst.

Die Formel:

P(A|B) = P(B|A) × P(A) / P(B)

P(A|B)  = Posterior: Wahrscheinlichkeit von A, gegeben B
P(B|A)  = Likelihood: Wie wahrscheinlich ist B, wenn A wahr ist
P(A)    = Prior: Ursprüngliche Überzeugung über A
P(B)    = Evidence: Gesamtwahrscheinlichkeit von B

Beispiel: Medizinischer Test

Eine Krankheit ist selten (Prior)
Ein Test erkennt viele echte Fälle, erzeugt aber auch Fehlalarme (Likelihood)
Du testest positiv – wie wahrscheinlich bist du krank?

P(krank|positiv) = P(positiv|krank) × P(krank) / P(positiv)

Die Posterior-Wahrscheinlichkeit hängt stark davon ab,
wie selten die Krankheit ist und wie viele False Positives der Test erzeugt.

Technisch betrachtet

Bayesian Update

def bayesian_update(prior, likelihood, evidence):
    posterior = (likelihood * prior) / evidence
    return posterior

# Spam-Filter Beispiel
prior_spam = observed_spam_rate
likelihood_word_given_spam = probability_word_given_spam
evidence_word = probability_word_overall

posterior = bayesian_update(prior_spam, likelihood_word_given_spam, evidence_word)

Naive Bayes Classifier

import numpy as np

class NaiveBayes:
    def fit(self, X, y):
        self.classes = np.unique(y)
        self.priors = {}
        self.likelihoods = {}
        
        for c in self.classes:
            X_c = X[y == c]
            self.priors[c] = len(X_c) / len(X)
            self.likelihoods[c] = {
                'mean': X_c.mean(axis=0),
                'var': X_c.var(axis=0)
            }
    
    def predict(self, X):
        posteriors = []
        for c in self.classes:
            prior = np.log(self.priors[c])
            likelihood = self._likelihood(X, c)
            posteriors.append(prior + likelihood)
        return self.classes[np.argmax(posteriors)]