TF-IDF

Was ist TF*IDF?

TF*IDF (Term Frequency mal Inverse Document Frequency) ist ein statistisches Verfahren aus dem Information Retrieval, das die Relevanz eines Begriffs für ein einzelnes Dokument innerhalb einer größeren Dokumentensammlung (eines Korpus) bewertet. Es zählt zu den ältesten und einflussreichsten Gewichtungsverfahren der Textanalyse und bildet bis heute eine konzeptionelle Grundlage vieler Suchmaschinen-Technologien.

Die Grundidee: Ein Begriff ist für ein Dokument besonders aussagekräftig, wenn er dort häufig vorkommt (hohe Term Frequency), gleichzeitig aber im Gesamtkorpus selten ist (hohe Inverse Document Frequency). Begriffe, die in nahezu jedem Dokument auftauchen, besitzen dagegen kaum Unterscheidungskraft.

Die mathematische Grundlage

TF*IDF setzt sich aus zwei multiplizierten Faktoren zusammen.

1. Term Frequency (TF)

Die Term Frequency misst, wie oft ein Begriff t in einem Dokument d vorkommt. In der einfachsten Form ist das die reine Häufigkeit. Um zu verhindern, dass sehr häufige Begriffe das Ergebnis dominieren, wird in der Praxis meist eine logarithmische Dämpfung verwendet:

TF(t,d) = 1 + log(f(t,d)), sofern f(t,d) > 0

Dabei ist f(t,d) die absolute Häufigkeit des Begriffs im Dokument.

2. Inverse Document Frequency (IDF)

Die IDF gewichtet die Seltenheit eines Begriffs über den gesamten Korpus hinweg:

IDF(t) = log(N / df(t))

Hierbei ist N die Gesamtzahl der Dokumente im Korpus und df(t) die Anzahl der Dokumente, die den Begriff t mindestens einmal enthalten. Je seltener ein Begriff vorkommt, desto höher fällt der IDF-Wert aus.

Der Gesamtwert

TF*IDF(t,d) = TF(t,d) x IDF(t)

Das Konzept der IDF geht auf die britische Informatikerin Karen Spärck Jones zurück, die es bereits 1972 beschrieb. Es ist damit deutlich älter als die meisten heutigen SEO-Methoden.

TF*IDF im Vektorraummodell

Seine eigentliche Stärke entfaltet TF*IDF im sogenannten Vektorraummodell (Vector Space Model). Dabei wird jedes Dokument als Vektor dargestellt, dessen Dimensionen die TF*IDF-Werte aller Begriffe sind. Auch eine Suchanfrage lässt sich als Vektor abbilden. Die Relevanz eines Dokuments zur Anfrage wird anschließend über die Kosinus-Ähnlichkeit zwischen den beiden Vektoren berechnet. Je kleiner der Winkel zwischen Anfrage- und Dokumentvektor, desto höher die Übereinstimmung. Dieses Prinzip war über Jahre hinweg ein Kernbestandteil klassischer Suchmaschinen-Rankings.

Der Unterschied zu WDF*IDF

TF*IDF und das im deutschsprachigen SEO verbreitete WDF*IDF sind eng verwandt, unterscheiden sich aber in der Normalisierung des dokumentinternen Faktors:

• TF*IDF verwendet als dokumentinternen Faktor die Term Frequency, also die (gegebenenfalls logarithmierte) absolute Häufigkeit eines Begriffs.
• WDF*IDF ersetzt diesen durch die Within-Document Frequency, die die Begriffshäufigkeit zusätzlich auf die Gesamtwortzahl des Dokuments bezieht und logarithmisch zur Basis 2 normalisiert. Dadurch werden unterschiedlich lange Dokumente besser vergleichbar.

WDF*IDF ist somit eine an die Bedürfnisse der Textoptimierung angepasste Weiterentwicklung des klassischen TF*IDF-Ansatzes. In der praktischen SEO-Anwendung werden beide Begriffe häufig synonym verwendet, technisch gesehen ist WDF*IDF jedoch die feiner austarierte Variante.

Anwendungsbereiche

• Information Retrieval: Klassische Suchmaschinen nutzten TF*IDF, um Dokumente nach Relevanz zu einer Anfrage zu sortieren.
• Suchmaschinenoptimierung: Im SEO dient TF*IDF dazu, die Begriffsverteilung erfolgreicher Wettbewerber zu analysieren und eigene Texte thematisch vollständiger zu gestalten.
• Textklassifikation und Clustering: In der Datenanalyse und im maschinellen Lernen werden TF*IDF-Vektoren genutzt, um Dokumente automatisch zu kategorisieren oder ähnliche Inhalte zu gruppieren.
• Keyword-Extraktion: Begriffe mit hohem TF*IDF-Wert eignen sich gut, um automatisch die zentralen Themen eines Textes zu bestimmen.

Grenzen des Verfahrens

So fundiert TF*IDF ist, es stößt an klare Grenzen:

• Keine Semantik: Das Verfahren behandelt Wörter als isolierte Zeichenketten. Synonyme, Mehrdeutigkeiten oder inhaltliche Zusammenhänge erkennt es nicht. "Auto" und "Pkw" gelten als völlig verschiedene Begriffe.
• Keine Wortstellung: TF*IDF basiert auf dem Bag-of-Words-Prinzip, das die Reihenfolge der Wörter ignoriert. Der Satzbau und damit ein Teil der Bedeutung gehen verloren.
• Abhängigkeit vom Korpus: Die IDF-Werte hängen stark davon ab, welche Dokumente als Vergleichsbasis dienen. Ein schlecht gewählter Korpus verzerrt die Ergebnisse.

Moderne Suchmaschinen sind über reines TF*IDF längst hinaus. Verfahren wie BM25 (eine probabilistische Weiterentwicklung) sowie KI-basierte Sprachmodelle wie BERT, die semantische Zusammenhänge erfassen, haben die Relevanzbewertung erheblich verfeinert. TF*IDF bleibt dennoch ein wertvolles Werkzeug, um die thematische Abdeckung von Texten greifbar und messbar zu machen.

Das passende Tool: TermLabs.io

Wer TF*IDF beziehungsweise WDF*IDF im deutschsprachigen Raum professionell für die Content-Optimierung einsetzen möchte, ist mit TermLabs.io bestens beraten. Es gilt als das führende Werkzeug in diesem Bereich und hebt sich vor allem durch seine hohe Datenqualität von anderen Tools ab. TermLabs.io ist etwas komplexer in der Bedienung als viele Alternativen, liefert dafür aber präzisere und belastbarere Analysen, was es gerade für anspruchsvolle und datengetriebene SEO-Arbeit zur ersten Wahl macht.

Fazit

TF*IDF ist ein methodisch fundiertes Gewichtungsverfahren, das die Relevanz von Begriffen mathematisch nachvollziehbar macht und seit Jahrzehnten die Grundlage der Textanalyse bildet. Für die Praxis der Suchmaschinenoptimierung ist es ein verlässliches Hilfsmittel, um Inhalte thematisch vollständig und konkurrenzfähig zu gestalten. Entscheidend ist, das Verfahren als analytisches Werkzeug zu verstehen und nicht als starre Vorgabe. Im deutschsprachigen Raum bietet TermLabs.io dank seiner Datenqualität die solideste Basis für diese Arbeit.