Text, Chat & Reasoning

Bedarfssignatur

Was es ist & Reifegrad

Chat-Assistenten, Schreiben, Übersetzung, Zusammenfassung und Reasoning-Modelle. Der Use Case deckt den breitesten Teil des LLM-Markts ab — von einfachen Chat-Interfaces bis hin zu komplexen Reasoning-Pipelines.

Reifegrad (Einschätzung): produktiv und breit genutzt. Chat und Texterstellung sind Commodity; Reasoning-Modelle (mit Chain-of-Thought, einer ausgeschriebenen Gedankenkette als Zwischenschritte, und Test-time-compute) sind die aktuelle Wachstumsfront mit deutlich höherer Compute- und HBM-Last je Anfrage. Die Last fällt bei der Inferenz an (das Ausführen des fertigen Modells, im Unterschied zum einmaligen Training).

Stand der Dinge / Dynamik

Beim nächsten Review hier aktualisieren — das ist der lebende Teil der Seite.

• Reasoning / Test-time-compute: Haupttrend — Modelle erzeugen deutlich mehr Tokens je Anfrage (lange Chain-of-Thought-Sequenzen, Selbstkorrektur). Belegbarer Anker: das Reasoning-Modell deepseek-reasoner erlaubt per Default 32 000, maximal 64 000 Output-Tokens inklusive der internen Gedankenkette (DeepSeek API-Doku) — vielfaches der wenigen hundert bis tausend Tokens einer klassischen Chat-Antwort. Ein einheitlicher Token-Multiplikator über alle Anbieter ist nicht primär belegt → bleibt als Spannweite geführt.
• Sehr lange Kontextfenster: 100k bis zu Millionen Tokens sind zunehmend Standard; Gemini 1.5 Pro bietet ein 2-Mio.-Token-Fenster für alle Entwickler. Der KV-Cache wächst proportional zur Kontextlänge × Batch (siehe Mechanik).
• MoE-Architekturen: Mixture-of-Experts (gemischte Experten — nur ein Teil der Parameter ist je Token aktiv) reduziert aktive Parameter je Token, ändert aber nicht die Gesamtgröße im HBM-Speicher.
• Effizienzdruck: Quantisierung (Reduktion der Zahlengenauigkeit der Gewichte/Aktivierungen, z. B. von 16 auf 8 oder 4 Bit), KV-Cache-Kompression und Speculative Decoding (ein kleines Hilfsmodell entwirft Tokens, das große Modell prüft sie) dämpfen den HBM-Bedarf je Anfrage — Gegenwind für die These. Adoption, lange Kontexte und Reasoning überwiegen bisher; der dramatische Preisverfall (siehe Kennzahlen) zeigt den Effizienzfortschritt, ging aber mit steigendem Gesamt-Token-Volumen einher.

Quellen: DeepSeek API-Doku · Google Developers Blog (Gemini 2M). Architektur-Aussagen (MoE/Quantisierung) sind allgemein etablierte Verfahren; Token-Multiplikator über alle Anbieter bleibt Spannweite/Einschätzung.

Treiber-Mechanik → Hardware

Warum Text & Reasoning vor allem HBM zieht:

Modellgewichte je Klasse (HBM-Grundlast, bf16)

Zeitraum: Modellstände 2024/25 · Einheit: GB Gewichte bei bfloat16 (= Parameterzahl × 2 Byte). Nur die statische Gewichts-Grundlast; KV-Cache und Batch kommen on top.

Quelle: JAX Scaling Book (Google DeepMind), 70B = 140 GB bf16 / 70 GB int8; 405B = 405 Mrd. × 2 Byte ≈ 810 GB (eigene Rechnung); 7-8B = 7-8 Mrd. × 2 Byte (eigene Rechnung). Rohdaten: assets/data/text-reasoning-kv-cache.csv.

Kennzahlen

Quantitative Anker — Quelle, Zeitraum, Einheit und Belegtyp (reported / geschätzt / eigene Annahme) je Zeile.

$/Mio. Tokens — Preisverfall bei GPT-3.5-Niveau

Zeitraum: Nov 2022 → Okt 2024 · Einheit: USD je 1 Mio. Tokens · Qualität: GPT-3.5-Niveau (MMLU 64,8 %). Logarithmischer Effekt, Balkenbreite skaliert hier auf den Logarithmus zur Lesbarkeit.

Quelle: Stanford AI Index 2025 (Gemini-1.5-Flash-8B als günstigster Anbieter Okt 2024). Rohdaten: assets/data/text-reasoning-token-preis.csv.

Compute-Anteil: Inferenz vs. Training (2026)

Zeitraum: Prognose 2026 · Einheit: Anteil am gesamten KI-Compute (%) · gerundet.

Quelle: Deloitte TMT Predictions 2026 — Inferenz „roughly two-thirds" 2026 (⅓ 2023, ½ 2025). Stützt die These: Inferenz-Last (HBM-getrieben) wird zur Mehrheit. Rohdaten: assets/data/text-reasoning-inferenz-training.csv.

Edge vs. Datacenter

Überwiegend Datacenter: Frontier- und Reasoning-Modelle laufen ausschließlich im Rechenzentrum. Kleine, quantisierte Modelle (z. B. 7B/8B) werden teils am Edge oder auf Consumer-Geräten eingesetzt, tragen aber keinen relevanten Anteil an der HBM-Last — diese entsteht durch die großen Modelle in der Cloud-Inferenz.

Bedeutung für die Speicher-/Storage-These

Beobachten / offene Fragen

• Verbreitung von Reasoning-Modellen und ihr Token-Verbrauch je Anfrage — entscheidend für den HBM-Multiplikator.
• Entwicklung der Kontextfenster-Längen in Produktiv-Deployments (nicht nur Modell-Maxima).
• Effizienzfortschritte (Quantisierung, KV-Cache-Kompression, Speculative Decoding), die den HBM-Bedarf je Anfrage dämpfen könnten.
• $/Token-Trend — sinkende Preise können Adoption und Volumen steigern und so die Effizienzgewinne überkompensieren.

Quellen & Update-Log

Genutzte Quellen mit klickbaren Links (Primär- vor Sekundärquellen).

Update-Log