Max Nardit
← Artikel
9 minresearch

Gemini 4 Hydrogen in der Google-Suche: der Modellwechsel vom 12. November, den dein AI-Visibility-Report protokollieren muss

Bei sechs Läufen pro Tag und Oberfläche erkennt ein Vorher-nachher-Test eine Bewegung um zwölf Punkte in weniger als der Hälfte der Fälle, und selbst ein großes Panel verpasst eine Bewegung um fünf Punkte in einem Viertel der Fälle. Solange ein Power-Check nicht zeigt, dass dein Panel die Bewegung sehen kann, entscheidet die Ankündigung, ob du die Reihe beim Hydrogen-Launch trennst, nicht deine Daten. Ein Event-Log, ein Split-Skript mit Rollout-Band und der Absatz, den der Report seinen Lesern schuldet.

Inhalt

Am 12. November hat Google Gemini 4 Hydrogen in die Suche gebracht. Robby Steins Ankündigung nennt es „the biggest model upgrade to Search yet“ (das bisher größte Modell-Upgrade der Suche), und es fällt mitten in einen Berichtsmonat. Wenn du monatlich eine AI-Visibility-Zahl für Googles KI-Antworten verschickst, überspannt dein November sehr wahrscheinlich einen Wechsel des Modells dahinter, und eine Monat-zu-Monat-Linie verrät das nicht.

Im Measurement-Framework habe ich geschrieben, dass eine Zeitreihe jedes bekannte Release eines Anbieters als Annotation tragen sollte. Das hier ist die praktische Version für ein einzelnes Release. Mein Argument ist eng: Außer bei einem großen Panel und einer großen Bewegung, die dich interessiert, wird ein Vorher-nachher-Test rund um den 12. meist nicht zeigen können, ob Hydrogen deine Zahlen bewegt hat. Die Entscheidung, die Reihe zu schneiden, muss deshalb aus der Ankündigung kommen, nicht aus deinen Daten. Das Skript unten sagt dir, welcher Fall bei dir vorliegt. Den Effekt von Hydrogen habe ich nirgends gemessen. Für diesen Text wurde keine Google-Oberfläche abgefragt, und jede Zahl unten stammt aus einer Simulation, deren Code dabei ist.

Was hat Google über Gemini 4 Hydrogen in der Google-Suche gesagt?

Dass es für alle live ist, dass der Query-Fan-out verbessert wurde und dass Antworten visueller werden. Auf welchen KI-Oberflächen das Modell läuft, hat Google nicht gesagt, und Zahlen nannte es keine. Der Satz, der für eine Zeitreihe zählt, ist dieser:

Hydrogen is now available globally in Google Search for all users, delivering more helpful, visual, and intuitive responses with improved model capabilities:

Die beiden Aussagen, die direkt die Messung betreffen:

Hydrogen’s advanced reasoning supercharges our query fan-out technique in Search, connecting you to a broader range of helpful links than before.
 
You’ll see more images, structured responses, comparison tables, and custom tools built for you.

Achte beim Lesen darauf, was fehlt. Keiner der beiden Posts nennt AI Overviews. Die einzige Oberfläche, die der Search-Post nennt, ist AI Mode, und das nur in einem Satz über die Sprachabdeckung („across all supported AI Mode languages“). Die Modellankündigung von DeepMind sagt, Hydrogen „is rolling out globally“, der Search-Post dagegen „now available“. Keiner der Posts sagt, wie man an einer Antwort erkennt, welches Modell sie geschrieben hat, und Google hat nicht gesagt, dass AI Mode oder AI Overviews jetzt standardmäßig Hydrogen nutzen.

Der Modell-Post berührt zwei weitere Oberflächen, die ein Visibility-Panel tracken könnte. In der Gemini-App bekommen Free-User Hydrogen „via auto model selection when it’s the appropriate model for the prompt“ (per automatischer Modellauswahl, wenn es das passende Modell für den Prompt ist). Ein Panel, das über die App mit automatischer Auswahl erhoben wird, ist also jetzt ein Modellmix. Protokolliere den Kontotyp, die Modelleinstellung und, wo die App es anzeigt, das Modell pro Antwort. In der API ist Hydrogen eine neue Modell-ID, gemini-4-hydrogen. Ein Collector, der eine feste ältere Version anfragt, ist von diesem Release nicht betroffen, wobei eine feste ID noch nie festes Verhalten garantiert hat.

Warum macht der Wechsel auf Gemini 4 Hydrogen den Monatsvergleich der AI Visibility unbrauchbar?

Weil eine Visibility-Rate Panel und Oberfläche gemeinsam beschreibt, und laut Google hat sich die Oberfläche am 12. geändert. Eine Zahl vor dem 12. und eine danach sind womöglich keine zwei Messungen derselben Sache, und Googles Posts liefern nichts, womit sich klären ließe, ob sie es sind.

Die Fan-out-Aussage benennt den Mechanismus. Bei einer retrievalbasierten Antwort entscheiden die Queries, die das System absetzt, welche Seiten abgerufen werden, und die abgerufenen Seiten entscheiden, was zitiert werden kann. „A broader range of helpful links“ beschreibt eine Änderung genau in diesem Schritt. Zitate pro Antwort, unterschiedliche Domains pro Antwort und der Anteil der Antworten, die deine URLs zitieren, können sich also alle bewegen, ohne dass sich auf deiner Website etwas ändert. Die Richtung ist nicht offensichtlich: Breiteres Retrieval kann deine Zitierrate heben, während dein Anteil an den Zitaten schrumpft. Ich vermute, dass der Formatwechsel auch für Erwähnungen eine Rolle spielt, weil eine Vergleichstabelle meist mehrere Produkte nennt, wo ein Absatz vielleicht eins nennt. Das ist aber eine Hypothese, die du an deinem eigenen Panel prüfen musst, und nichts, was Google gesagt hat.

Eine November-Zahl, die über den 12. hinweg berechnet wird, mittelt zwei Regime, gewichtet danach, wie viele deiner Läufe zufällig auf welche Seite fielen. Verschieb den Erhebungskalender, und die November-Zahl verschiebt sich mit.

Wie protokollierst du den Wechsel auf Gemini 4 Hydrogen in einer AI-Visibility-Zeitreihe?

Als Daten, neben dem Panel, bevor irgendwer auf den November schaut. Eine Freitextnotiz im Report reicht nicht: Der Analysecode muss das Event lesen können.

date,surface,event,source,confidence
2026-11-12,google_aio,Gemini 4 Hydrogen in Search,https://blog.google/products-and-platforms/products/search/gemini-4-hydrogen-search-upgrade/ (read 2026-11-16),announced for Search; surface not named
2026-11-12,google_ai_mode,Gemini 4 Hydrogen in Search,https://blog.google/products-and-platforms/products/search/gemini-4-hydrogen-search-upgrade/ (read 2026-11-16),announced for Search; surface not named

Die Spalte confidence sagt, wie viel an der Zeile Googles Aussage ist und wie viel meine Zuordnung. Google hat für ein Datum eine Änderung an der gesamten Suche angekündigt. Sie AI Overviews und AI Mode zuzuordnen, ist meine Annahme, weil das die Oberflächen der Suche sind, die Antworten generieren. Schreib es genau so auf, und wenn spätere Belege etwas anderes sagen, musst du nur eine Zeile korrigieren. Ergänze Zeilen für die Gemini-App, falls du sie mit automatischer Auswahl trackst, und keine für eine API-Reihe, die auf ein älteres Modell gepinnt ist.

Notier das Lesedatum mit der Quelle, denn Anbieter-Posts werden nachträglich bearbeitet: Die Modellankündigung zeigt bereits „Last updated November 13“. Und weil „rolling out“ meist heißt, dass die Änderung nicht alle Nutzer zur selben Stunde erreicht hat, behalte das Event als einzelnes Datum und fang die Unsicherheit in der Analyse mit einem Band ausgeschlossener Tage drumherum ab. Das macht das Skript unten.

Wie teilst du eine November-Reihe zur AI Visibility am Gemini-4-Hydrogen-Datum?

Schneide die Reihe jeder betroffenen Oberfläche am Event-Datum, lass den Rest des Panels durchlaufen und gib jedem Segment ein Intervall. Das Skript liest das Event-Log oben und einen Laufdatensatz mit einer Zeile pro Erhebungsversuch. Nur vollständige Antworten gehen in die Erwähnungsrate ein. Ein Timeout oder eine Query, bei der keine KI-Antwort erschien, zählt als Versuch, nicht als „keine Erwähnung“, und die Zahl der Versuche wird ausgegeben, damit sichtbar bleibt, wenn sich ändert, wie oft die KI-Antwort überhaupt erscheint. Das optionale dritte Argument ist das Rollout-Band in Tagen.

python
# split_series.py: cut each surface's mention-rate series at logged events
import csv, math, sys
from collections import defaultdict
from datetime import date, timedelta
 
def wilson(k, n, z=1.96):
    p, d = k / n, 1 + z * z / n
    c = (p + z * z / (2 * n)) / d
    h = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / d
    return c - h, c + h
 
def z_two(k1, n1, k2, n2):
    p = (k1 + k2) / (n1 + n2) if n1 and n2 else 0
    if p in (0, 1):
        return None                   # empty segment, or no variation at all
    return (k2 / n2 - k1 / n1) / math.sqrt(p * (1 - p) * (1 / n1 + 1 / n2))
 
def main(events_file, runs_file, band_days=0):
    band = timedelta(days=band_days)
    cuts = defaultdict(list)
    for e in csv.DictReader(open(events_file)):
        cuts[e["surface"]].append(date.fromisoformat(e["date"]))
    cells = defaultdict(lambda: [0, 0, 0])  # mentions, completed, attempts
    for r in csv.DictReader(open(runs_file)):
        day, cs = date.fromisoformat(r["date"]), sorted(cuts[r["surface"]])
        if any(abs(day - c) < band for c in cs):
            continue                  # rollout band: neither before nor after
        cell = cells[(r["surface"], sum(day >= c for c in cs))]
        cell[2] += 1
        if r["status"] == "completed":  # a timeout or "no AI answer shown" is not "no mention"
            cell[0] += int(r["mentioned"])
            cell[1] += 1
    for (s, seg), (k, n, tries) in sorted(cells.items()):
        if n == 0:
            print(f"{s:<15} seg {seg}  no completed runs of {tries}")
            continue
        lo, hi = wilson(k, n)
        line = f"{s:<15} seg {seg}  {k:>3}/{n:<3} {k/n:6.1%}  [{lo:.1%}, {hi:.1%}]  of {tries} tries"
        if seg > 0:
            k0, n0, _ = cells.get((s, seg - 1), (0, 0, 0))
            z = z_two(k0, n0, k, n)
            line += "  z n/a" if z is None else f"  z {z:+.2f}"
        print(line)
 
if __name__ == "__main__":
    main(sys.argv[1], sys.argv[2], int(sys.argv[3]) if len(sys.argv) > 3 else 0)

Das Skript behandelt jeden Lauf als unabhängigen Versuch, was echte Panels nicht sind: Läufe desselben Prompts am selben Tag haben viel gemeinsam. Dadurch werden die Intervalle zu eng. Für den Produktivbetrieb behalte die Prompt-IDs, gewichte Prompts gleich und vergleiche auf beiden Seiten dieselben Prompts, wie im Framework beschrieben. Um zu sehen, was ein Split zeigen kann und was nicht, reicht die einfache Version.

Die Testdaten sind ein simulierter November: sechs Läufe pro Tag auf drei Oberflächen, wobei sich nur google_aio am 12. tatsächlich ändert (20 Prozent Erwähnungsrate davor, 32 danach) und die anderen beiden gleich bleiben. chatgpt_search hat keine Event-Zeile, bleibt also ein einziges Segment und dient als Kontrolle.

python
# toy_runs.py: simulated November; only google_aio really changes on the 12th
import csv, random
from datetime import date
random.seed(7)
rates = {"google_aio": (.20, .32), "google_ai_mode": (.25, .25), "chatgpt_search": (.15, .15)}
w = csv.writer(open("runs.csv", "w", newline=""))
w.writerow(["date", "surface", "status", "mentioned"])
for d in range(1, 31):
    day = date(2026, 11, d)
    for s, (before, after) in rates.items():
        p = before if day < date(2026, 11, 12) else after
        for _ in range(6):
            w.writerow([day, s, "completed", int(random.random() < p)])
shell
python3 toy_runs.py && python3 split_series.py events.csv runs.csv
chatgpt_search  seg 0   34/180  18.9%  [13.8%, 25.2%]  of 180 tries
google_ai_mode  seg 0   25/66   37.9%  [27.1%, 49.9%]  of 66 tries
google_ai_mode  seg 1   26/114  22.8%  [16.1%, 31.3%]  of 114 tries  z -2.16
google_aio      seg 0   13/66   19.7%  [11.9%, 30.8%]  of 66 tries
google_aio      seg 1   42/114  36.8%  [28.6%, 46.0%]  of 114 tries  z +2.41

Gerade dieser Durchlauf (Seed 7) zeigt zufällig beide Fälle in einer Tabelle. Die wahre Rate von AI Mode lag auf beiden Seiten bei 25 Prozent, trotzdem zeigt der Split einen Rückgang von 38 auf 23 Prozent mit einem z jenseits von 2. Der echte Anstieg bei AI Overviews sieht nicht überzeugender aus als der falsche Rückgang bei AI Mode. So ein Fehlalarm ist der gewöhnliche 1-von-20-Fall eines Tests auf dem 5-Prozent-Niveau, kein Fehler des Splits. Wichtiger ist die Zeile für AI Overviews, und warum, siehst du erst, wenn du den Durchlauf wiederholst:

python
# power.py: how often a 66/114-run split flags a change, over 1,000 simulated Novembers
import random
from split_series import z_two
 
def share_flagged(before, after, n0=66, n1=114, draws=1000):
    hits = 0
    for seed in range(draws):
        rng = random.Random(seed)
        k0 = sum(rng.random() < before for _ in range(n0))
        k1 = sum(rng.random() < after for _ in range(n1))
        z = z_two(k0, n0, k1, n1)
        hits += z is not None and abs(z) > 1.96
    return hits / draws
 
for before, after in [(.25, .25), (.20, .32), (.20, .36), (.20, .40)]:
    print(f"{before:.0%} -> {after:.0%}: flagged in {share_flagged(before, after):.1%}")
25% -> 25%: flagged in 4.4%
20% -> 32%: flagged in 42.0%
20% -> 36%: flagged in 62.4%
20% -> 40%: flagged in 81.9%

Mit 66 Läufen vor dem 12. und 114 danach wird ein Anstieg um zwölf Punkte in weniger als der Hälfte der simulierten Novembermonate erkannt. Die Rate muss sich ungefähr verdoppeln, von 20 auf 40 Prozent, bevor der Split sie in vier von fünf Fällen erkennt. Kleinere echte Effekte kommen meist als „keine signifikante Änderung“ zurück, und das ist nicht dasselbe wie keine Änderung. Diese Läufe sind außerdem per Konstruktion unabhängig, ein echtes Panel schneidet also schlechter ab.

Lass es deshalb mit deinen eigenen Zahlen laufen, bevor du entscheidest: Setz n0 und n1 auf die Zahl deiner vollständigen Läufe auf beiden Seiten des 12., before auf deine aktuelle Rate und after auf diese Rate plus die kleinste Bewegung, die du im Report ausweisen würdest. Die Antwort hängt stark von der Panelgröße ab. Bei 300 und 520 Läufen wird der Anstieg um zwölf Punkte von oben in 97 Prozent der Fälle erkannt, eine Bewegung um fünf Punkte (20 auf 25 Prozent) aber nur in 36 Prozent. Bei etwa 730 und 1.270, also ungefähr bei dem, was pro Oberfläche übrig bleibt, wenn sich die 6.000 Antworten pro Periode aus dem Framework-Beispiel auf drei Oberflächen verteilen, wird die Bewegung um fünf Punkte immer noch in etwa einem Viertel der Fälle verpasst. Wird die Bewegung, die dich interessiert, seltener als in etwa vier von fünf Fällen erkannt, können deine Daten nicht klären, ob die Reihe gebrochen ist, und die Ankündigung muss es tun.

Mit einem Band von 2 (python3 split_series.py events.csv runs.csv 2) fallen der 11. bis 13. November auf beiden Seiten heraus. Vergleiche die Schätzwerte und ihre Intervalle, nicht nur, ob ein z die 2 überschreitet: Ein Band entfernt auch Läufe, ein Ergebnis, das damit kippt, hat also vielleicht nur an Power verloren.

Solltest du für Googles KI-Oberflächen nach Gemini 4 Hydrogen eine neue Baseline setzen, wenn deine Daten keinen Sprung zeigen?

Ja, es sei denn, der Power-Check oben zeigt, dass dein Panel die Bewegungen hätte sehen können, die dich interessieren. Leg den Schnitt vorab als Reporting-Regel fest: Behandle den 12. für Googles Antwortoberflächen als Bruch, egal ob deine Daten einen Sprung zeigen oder nicht. Ein Test, der die relevante Bewegung öfter verpasst als erkennt, kann nicht darüber entscheiden, ob die Reihe durchgängig ist. Ohne Schnitt kann eine Änderung beim Anbieter als Effekt deiner eigenen Arbeit durchgehen.

Der Schnitt hat Kosten. Das Segment vor dem Wechsel ist kurz, der Oktober wird also mit elf Novembertagen statt dreißig verglichen, und jeder Vergleich über den 12. hinweg verliert an Power. Die Regel, welche Anbieter-Meldung einen Schnitt rechtfertigt, muss aufgeschrieben sein, bevor die nächste kommt. Meine wäre: eine angekündigte Änderung an Modell oder Retrieval auf einer Oberfläche, die du trackst. Alles andere (ChatGPT, Perplexity, API-Reihen, die auf ein älteres Modell gepinnt sind) läuft durchgängig weiter, weil nichts in dieser Ankündigung sie berührt.

Prüf dann Googles Aussagen an deinem eigenen Panel, denn das kostet wenig, sobald du vollständige Antworten speicherst: Zitate pro Antwort, unterschiedliche Domains pro Antwort, der Anteil der Antworten mit Tabelle und wie oft überhaupt eine KI-Antwort erscheint. Eine große Verschiebung bei diesen Werten auf einer Oberfläche rund um den 12. ist ein Hinweis darauf, dass der Wechsel sie erreicht hat, beweist aber nicht, dass das Modell die Ursache war. Eine flache Erwähnungsrate sagt bei diesen Stichprobengrößen wenig über deine Position aus, weder nach oben noch nach unten.

Die Search Console braucht dieselbe Behandlung. Ihr Leistungsbericht für generative KI zählt Impressionen aus AI Overviews und AI Mode zusammen, und auch diese Reihe läuft über den 12. hinweg. Annotier sie mit derselben Event-Zeile.

Was sollte ein AI-Visibility-Report für November über Gemini 4 Hydrogen sagen?

Was sich geändert hat, wie du damit umgegangen bist und was die Zahlen nicht mehr zeigen können, im Haupttext des Reports statt in einer Fußnote. Ein Absatz in dieser Art reicht:

Am 12. November hat Google die Suche auf ein neues Modell (Gemini 4 Hydrogen) umgestellt und erklärt, das neue Modell werde Nutzer mit „a broader range of helpful links“ (einer breiteren Auswahl hilfreicher Links) verbinden. Google hat nicht gesagt, welche KI-Oberflächen sich geändert haben. Wir behandeln das Datum als Bruch für die Google-Reihen. Der 1. bis 11. November wird mit dem Oktober verglichen, ab dem 12. November beginnt eine neue Baseline. Der Dezember-Vergleich stellt einen vollen Monat einem Teilmonat gegenüber, der den Black Friday enthält. Deshalb vergleichen wir dieselben Prompts und weisen den Abstand mit seinem Intervall aus. ChatGPT und Perplexity sind nicht betroffen und werden wie gewohnt ausgewiesen.

Ein Pfeil auf einer Folie ist einfacher, und im Januar, wenn jemand fragt, warum die Google-Sichtbarkeit im November gesprungen ist, hat der Pfeil nichts zu sagen.

Was kann eine Gemini-4-Hydrogen-Annotation nicht sagen?

Welcher Teil des Releases deine Zahl bewegt hat. Google beschreibt ein neues Modell, einen überarbeiteten Fan-out-Schritt und neue Antwortformate in einem Release, und der Index darunter hat sich wie üblich weiter verändert. Die Annotation hält fest, dass sich die Oberfläche an einem Datum geändert hat. Sie kann die Teile nicht trennen, und ein Schnitt am Ankündigungsdatum ist nur so scharf, wie der Rollout es war.

Sie deckt außerdem nur ab, was angekündigt wurde. Consumer-Oberflächen wechseln Modelle und Retrieval ohne Blogpost, und ein Modell ist eine Abhängigkeit, die nicht stillhält: Das Event-Log erfasst die Releases, die jemand aufgeschrieben hat. Für den Rest bleibt dir nur die Reihe selbst, in der eine plötzliche Bewegung über viele Prompts gleichzeitig eines der wenigen Signale ist und schleichende Drift womöglich gar nichts zeigt. Als ich die Sichtbarkeit von Beetroot gemessen habe, über 359 Antworten hinweg, lag dasselbe Produkt je nach Oberfläche und Prompt irgendwo zwischen 0 und 100 Prozent, alles an einem Tag. Ein Modellwechsel hinter einer dieser Oberflächen fügt demselben Problem die Zeitachse hinzu.

01 / Diskussion

Hier gibt es keine Kommentarspalte. Diskussionen laufen auf X.

Max Nardit@mnardit

02 / Weitere Artikel