Der Startschuss: Deep Learning wird real

Die KI-Revolution begann nicht mit ChatGPT. Sie begann leise – in Forschungslaboren und auf Konferenzen, die außerhalb der Tech-Bubble kaum jemand kannte. Doch zwischen 2012 und 2017 wurden die Fundamente gelegt, auf denen heute alles aufbaut.

2012: AlexNet und der ImageNet-Moment

Im September 2012 gewann ein neuronales Netzwerk namens AlexNet den ImageNet-Wettbewerb – und zwar nicht knapp, sondern mit einem so dramatischen Vorsprung, dass es die gesamte Computer-Vision-Community wachrüttelte. Die Fehlerrate sank von 26% auf 16%.

Was war neu? AlexNet nutzte GPUs zum Training tiefer neuronaler Netze. Was vorher Wochen dauerte, ging nun in Tagen. Deep Learning war plötzlich nicht mehr Theorie, sondern Praxis.

Warum das wichtig war

• Bewies, dass tiefe neuronale Netze funktionieren
• GPUs als Trainings-Hardware etabliert
• Startschuss für Milliarden-Investitionen in AI-Forschung

2014–2015: GANs und die kreative Maschine

Ian Goodfellow stellte 2014 Generative Adversarial Networks (GANs) vor – zwei neuronale Netze, die gegeneinander spielen. Das eine erzeugt Bilder, das andere bewertet sie. Das Ergebnis: Maschinen, die erstmals kreativ erschienen.

Die ersten GAN-Bilder waren verschwommen und unheimlich. Aber das Konzept war bahnbrechend – und legte den Grundstein für alles, was später mit DALL-E, Midjourney und Stable Diffusion kam.

2016: AlphaGo schlägt den Weltmeister

Im März 2016 besiegte Googles AlphaGo den Go-Weltmeister Lee Sedol. Das war kein gewöhnlicher Sieg eines Computers über einen Menschen. Go galt als zu komplex für Brute-Force-Berechnung – es hat mehr mögliche Stellungen als Atome im Universum.

AlphaGo nutzte eine Kombination aus Deep Learning und Reinforcement Learning. In Spiel 2 machte die KI einen Zug (Move 37), den kein menschlicher Spieler je gemacht hätte – und gewann damit. Es war der Moment, in dem klar wurde: KI kann nicht nur rechnen, sie kann Intuition simulieren.

„After humanity spent thousands of years refining the game of Go, the machine comes along and says: actually, you've been playing it wrong." – Fan Hui, europäischer Go-Meister

2017: Attention Is All You Need

Im Juni 2017 veröffentlichte ein Google-Team das Paper „Attention Is All You Need" – und stellte damit die Transformer-Architektur vor. Kein anderes Forschungspapier hat die Welt seitdem so verändert.

Was macht Transformer besonders?

Vorher (RNNs/LSTMs)	Transformer
Sequenzielle Verarbeitung	Parallele Verarbeitung
Langsames Training	Schnelles Training auf GPUs
Vergisst bei langen Texten	Attention über den ganzen Text
Begrenzte Skalierung	Skaliert mit mehr Daten & Compute

Transformer sind die Architektur hinter GPT, BERT, Claude, Gemini, LLaMA und praktisch jedem modernen Sprachmodell. Ohne dieses Paper gäbe es kein ChatGPT.

Was wir aus dieser Ära lernen

Die Jahre 2012–2017 waren die Grundlagenforschungs-Phase. Wenige außerhalb der Forschung ahnten, was sich anbahnte. Aber drei Muster zeichneten sich ab:

1. Hardware treibt Fortschritt – GPUs machten Deep Learning erst möglich
2. Architektur-Innovationen verändern alles – AlexNet, GANs, Transformer
3. Skalierung funktioniert – mehr Daten + mehr Compute = bessere Ergebnisse

Diese Erkenntnis – dass man einfach „größer bauen" kann – wurde zur Leitidee der nächsten Jahre.

---

Weiter geht's mit Teil 2: Die Sprachrevolution – Als Maschinen lesen und schreiben lernten (2018–2020)