👇 4 1/2 Stunden DeepDive mit den KI-Forschern Sebastian Raschka und Nathan Lambert zu Status Quo und Zukunft der KI analysiert u.a. den Wettbewerb zwischen 🇺🇸 LLM und den aufstrebenden 🇨🇳 Open-Weight-LLM wie DeepSeek. 1/10
Feb 2, 2026 18:30Die Diskussion gerade zu Architektur-Themen oder auch die neuen Technologien beim Training sehr großer LLM sind recht technisch, aber es wird zumindest versucht, die jeweiligen Begriffe und Technoligen zu erklären. 2/10
Insbesondere Reinforcement Learning with Verifiable Rewards (RLVR) aus dem Paper "Tulu 3: Pushing Frontiers in Open Language Model Post-Training" (
arxiv.org/abs/2411.15124) wird von einem ihrer Erfinder @natolambert als die entscheidende Innovation, ... 3/10
Tulu 3: Pushing Frontiers in Open Language Model Post-Training
Language model post-training is applied to refine behaviors and unlock new skills across a wide range of recent language models, but open recipes for applying these techniques lag behind proprietary o...
... da es das Training von LLM von subjektiven menschlichen Vorlieben entkoppelt und stattdessen auf objektive, überprüfbare Kriterien stützt. In Domänen wie Mathematik und Coding kann die Korrektheit einer Antwort eindeutig verifiziert werden, was es ermöglicht, ... 4/10
... das Reinforcement Learning massiv zu skalieren und die Modelle durch systematisches Ausprobieren (Trial-and-Error) lernen zu lassen. Durch dieses Verfahren entwickeln Modelle sogenannte "Reasoning Traces", also gedankliche Zwischenschritte, mit denen sie komplexe ...5/10
... Probleme in handhabbare Einheiten zerlegen. Ein wesentlicher Durchbruch war dabei der "Aha-Moment" von DeepSeek R1, bei dem das LLM während des Generierungsprozesses lernt, eigene Fehler selbstständig zu erkennen und zu korrigieren. 6/10
Interessant an der Nutzung von LLM-generiertem Code in tatsächlich an Kunden ausgeliefertem Production Code war, dass bei erfahrenen Programmierern mittlerweile mehr als 50% des Codes KI-generiert ist. 7/10
Darüber hinaus noch ein Kommentar aus der KI-Branche zur 🇩🇪 Arbeitszeitdebatte. Der ursprünglich aus 🇨🇳 und zunehmend von führenden KI-Unternehmen im Silicon Valley übernommene Begriff "996" bezeichnet eine Arbeitskultur, in der von 9:00 Uhr morgens bis 9:00 Uhr abends ... 8/10
... an sechs Tagen pro Woche gearbeitet wird, was einer Wochenarbeitszeit von 72 Stunden entspricht. 🇪🇺 und insbesondere 🇩🇪 sind also nicht nur auf Grund von fehlender Energie für nicht vorhandene GPUs aus dem KI-Rennen raus, sondern auch auf Grund von Work-Life-Balance 🤷♂️ 9/10
Bei den Prognosen, was das beherrschende KI-Thema 2026 werden zwar viele existierende Technologien wie Diffusion-#LLM etc. genannt, aber von keiner wird der große Durchbruch erwartet. 10/10
State of AI in 2026: LLMs, Coding, Scaling Laws, China, Agents, GPUs, AGI | Lex Fridman Podcast #490
YouTube video by Lex Fridman
