Rankings mit Machine Learning vorhersagen, unser Experiment von 2017

Die Frage hinter dem Experiment

Keywords zu finden ist leicht, sie zu bewerten nicht. Für unsere Beispielwebsite, einen Nischen-Shop zum Thema Rohfütterung von Hunden (BARF), lieferte SEMrush über 1.100 Keywords, für die sie bereits rankte. Mit den Keywords der Wettbewerber wurden es über 3.600. Das ist für eine größere Website wenig und für eine Prüfung von Hand trotzdem zu viel.

Wir wollten wissen, bei welchen dieser Keywords eine Top-10-Position mit wenig Aufwand erreichbar ist. Dafür haben wir ein Machine-Learning-Modell trainiert, das die Position nach einer On-Page-Optimierung vorhersagt. Vorgestellt haben wir das Experiment erstmals auf dem SEO Day 2017.

Methode in fünf Schritten

1. Überlegen, wie du es von Hand machen würdest

Von Hand würdest du auf Suchvolumen und CPC schauen. Hohe Werte deuten auf viel Wettbewerb. Rankt ein sehr ähnlicher Wettbewerber in den Top 10, ist das auch für die eigene Seite wahrscheinlich machbar. Ist eine eigene Seite bereits gut optimiert, rankt aber auf Seite zwei oder drei, bringt weitere On-Page-Arbeit wenig. Fehlt eine passende Seite oder ist sie schwach optimiert, ist das Potenzial größer. Genau diese Daten bekommt das Modell.

2. Daten sammeln und umwandeln

Über die SEMrush-API haben wir alle Keywords der Beispielsite und ihrer Wettbewerber abgerufen. Danach haben wir jede rankende Seite gecrawlt und geprüft, ob die Keyword-Phrase in Title, Content, URL-Pfad oder Domain vorkommt. Das Modell verarbeitet nur Zahlen. Deshalb haben wir auch Domains und Keywords als Zahlen kodiert.

3. Modell trainieren

Die Daten haben wir in 80 % Trainings- und 20 % Testdaten geteilt. Als Algorithmus diente ein MLPClassifier, ein neuronales Netz aus scikit-learn. In unseren Tests funktionierte ein neuronales Netz für diese Aufgabe am besten. Das Training kann Minuten oder Stunden dauern. Das Prinzip zeigt dieses vereinfachte Beispiel.

4. Positionen für optimierte Seiten vorhersagen

Beim Keyword „barf fleisch kaufen“ fehlte die Phrase auf der Shop-Seite in Title und URL. Im Content und in der Domain kam sie teilweise vor. Das Modell sagte Position 20 voraus. In den Testdaten stand die Seite auf Position 18. Danach haben wir dieselben Daten mit der Phrase in Title und Content eingegeben. Das Modell sagte Position 1 voraus.

5. Alle Keywords auswerten

Dasselbe lief für alle 3.600 Keywords. Für Begriffe ohne Bezug zum Shop wie „kreuzberg“, „durchfall“ oder „ziege“ gab das Modell keine Vorhersage aus. Das spricht für die Qualität, denn für solche Begriffe ist ein gutes Ranking auch nicht zu erwarten. Gefiltert auf vorhergesagte Positionen unter 10 blieben rund 600 überwiegend relevante Keywords übrig.

Ergebnis

Statt 3.600 Keywords von Hand zu prüfen, lag damit eine Liste von 600 Kandidaten für neue oder optimierte Seiten vor. Einige davon waren Fehltreffer, und manche Prognose war zu optimistisch. Als Startpunkt für die On-Page-Arbeit hat die Liste funktioniert. Ob die Seiten nach der Optimierung tatsächlich so rankten, haben wir im Rahmen des Experiments nicht gemessen.

Grenzen des Experiments

• Nur wenige On-Page-Merkmale, vor allem die Position der Phrase in Title und Inhalt. Externe Links und Analysen wie TF*IDF fehlten.
• Eine Nischen-Website mit 3.600 Keywords. Mehr Ranking-Daten, mehr Wettbewerber und mehr Keywords sollten die Vorhersage verbessern.
• Parameter und Algorithmus haben wir nicht systematisch optimiert.
• Ein Klassifikator behandelt jede Position als eigene Klasse. Eine Regression, die Abstände zwischen Positionen kennt, wäre ein naheliegender Vergleich (unsere Einordnung, nicht getestet).

Was hat sich seitdem geändert?

Die Methode ist neun Jahre alt. Drei Dinge haben sich seitdem deutlich verändert.

• Google versteht Sprache besser. Laut Google arbeiten heute unter anderem RankBrain, neuronales Matching und BERT daran, Wörter mit Konzepten zu verbinden. Seiten können damit auch ohne die exakte Phrase ranken (Stand der Google-Doku 10.12.2025). Ein Merkmal wie „alle Wörter im Title“ erklärt Rankings deshalb weniger als 2017.
• Die Ergebnisseite ist voller. AI Overviews und AI Mode bauen laut Google auf denselben Ranking-Systemen auf. Eine Position allein sagt aber weniger über Klicks als früher, wenn darüber eine KI-Übersicht steht.
• Werkzeuge sind zugänglicher. scikit-learn mit dem MLPClassifier gibt es weiterhin. Der Code unseres Experiments liegt öffentlich im Repository searchVIU Labs auf GitHub, dazu ein Beispiel, das die CTR je Position aus Search-Console-Daten vorhersagt.

Die Grundidee bleibt brauchbar. Willst du Keywords nach Potenzial priorisieren, kombinierst du Wettbewerbsdaten mit dem, was auf deinen Seiten steht, und lässt ein Modell die Liste vorsortieren.

Häufige Fehler beim Nachbauen

• Test- und Trainingsdaten überschneiden sich, und das Modell wirkt genauer, als es ist.
• Die Vorhersage wird als Zusage gelesen. Sie ist eine Rangfolge für die Prüfung von Hand.
• Keywords ohne Bezug zum Angebot bleiben in der Liste, weil niemand die Ergebnisse durchsieht.

Häufige Fragen