Zum Inhalt springen
token therapie

Sitzung 05

8. September 2026 um 11:00 Uhr

Lokale KI: Braucht's die Cloud überhaupt noch?

Mit Branko Trebsche, smartminds.ai und KSQ Eventus

Worum es geht

Shownotes

Kurz gesagt: In dieser Folge von Token-Therapie sprechen Jan Schulte und Dr. Michael Köpf mit Branko Trebsche (smartminds.ai und KSQ Eventus) über lokale KI: KI-Modelle, die auf selbst kontrollierter Hardware laufen statt bei Cloud-Anbietern wie OpenAI oder Anthropic. Seine Kernaussage: Lokale KI ist keine Kostenfrage, sondern eine Frage von Datenschutz, Geschäftsgeheimnissen und Rechtssicherheit, und für typische Business-Software ist sie bei guter Vorbereitung nicht schlechter als die neuesten Cloud-Modelle.

Das Wichtigste in Kürze

  • Branko Trebsche nennt Privacy, Geschäftsgeheimnisse und Rechtssicherheit als die entscheidenden Gründe für lokale KI, nicht niedrige Kosten.
  • Lokal heißt für ihn: Die Inference läuft auf Hardware, die er kontrolliert. Dazu zählen auch stundenweise gemietete Nvidia-B200-GPUs, wenn Ein- und Ausgaben nicht gespeichert werden.
  • Ein MacBook mit 32 GB reicht für Wissensmanagement, Belege für die Buchhaltung und E-Mails. Auf einem Mac Studio geht Coding, bei etwa 100 Token pro Sekunde aber nur mit sehr strukturiertem Vorgehen.
  • Eine gemietete B200 kostet ihn nach eigener Schätzung 5 bis 6 Dollar pro Stunde und trägt je nach Modell 32 bis 64 gleichzeitige Sessions.
  • Für 98 Prozent seiner Entwicklung nutzt er DeepSeek V4 Flash. Mit seiner Entwicklungspipeline übertrifft er damit nach eigener Aussage die Ergebnisse von Opus 5.
  • Teams sollten zuerst die Zielinfrastruktur aus den Anforderungen ableiten, statt in jeder Abteilung eigene Prototypen zu bauen.
  • Ohne Koordination produziert KI so viel Abfall, dass er den erwarteten Produktivitätsgewinn aufzehrt.

Warum lokale KI statt Cloud-KI?

Für Branko Trebsche, seit fast 25 Jahren in der Digitalisierung tätig und seit 2011 mit KI-Projekten im Unternehmen befasst, ist Vertrauen der Kern der Frage. Sein Beispiel: Wer eine einzigartige SaaS-Idee mit einem Cloud-Anbieter KI-gestützt umsetzt, gibt sein Geschäftsmodell genau dem Unternehmen, das Daten auf vielen Wegen für das Training seiner Modelle beschafft. Als Vergleich nennt er das Accelerator-Programm von Nvidia, in dem gezielt Ideen gescoutet werden.

Hinzu kommt der rechtliche Teil: Datenschutz in Geschäftsprozessen ist bestenfalls über einen Auftragsverarbeitungsvertrag (AVV) gesichert, oft bleiben Graubereiche. Nicht jedes Projekt braucht lokale KI. Ein gewöhnliches CRM sei nichts Neues; bei Geschäftsmodellen, die es kein zweites Mal gibt, hätten die Informationen bei einem Cloud-Anbieter aber nichts verloren.

Ausdrücklich keine Rolle spielt für ihn der Preis: „Das sind die kriegsentscheidenden Elemente.“ Gemeint sind Privacy, Geschäftsgeheimnisse und Rechtssicherheit.

Welche Hardware braucht lokale KI?

Branko Trebsche zufolge entscheidet der Anwendungsfall über die Hardware, die Spannweite sei riesig. Seine Beispiele aus der Praxis:

  • MacBook mit 32 GB: Wissensmanagement, Aufbereiten von Belegen für die Buchhaltung, Beantworten und Vorbereiten von E-Mails.
  • Mac Studio: Coding für Code, den kein Dritter kennen soll; ein angelerntes Bildmodell, das für eine Bäckerei Restbrötchen zählt; 3D-Modelle aus 20 bis 30 Jahre alten Schiffsplänen. Spitzenverbrauch laut Branko Trebsche 135 Watt.
  • Nvidia RTX 6000: etwa 13.000 bis 14.000 Euro, auch für Videoerzeugung. Ein Mac Studio mit viel Arbeitsspeicher liege bei 10.000 bis 20.000 Euro, daneben gebe es gebrauchte Grafikkarten wie die 4090.

Eine Falle sieht er in der Geschwindigkeit des Markts: Morgen kann eine Entwicklung kommen, für die die gekaufte Hardware nicht mehr reicht. Deshalb baut er Systeme so, dass er sie leicht auf stundenweise gemietete externe GPUs übertragen kann. Für Geschäftsprozesse, die rund um die Uhr laufen müssen, passe das weniger.

Wie führt man lokale KI in Entwicklungsteams ein?

Werkzeuge wie Claude Code, Codex oder OpenCode lassen sich laut Branko Trebsche auch mit lokalen Modellen nutzen. Wichtiger ist die Reihenfolge: zuerst die Zielinfrastruktur aus den Anforderungen des Geschäftsalltags ableiten. Prototypen in fünf oder zehn Organisationseinheiten ergeben fünf oder zehn verschiedene Lösungen; „die Wahrheit ist, das führt immer ins Chaos“.

Hilfreich findet er dabei den EU AI Act: Er verlangt, Mitarbeitende für KI-Systeme zu schulen, nicht für einzelne Produkte wie ChatGPT oder Claude. Die Schulung beginnt bei den Grundlagen, etwa wie Entwickler eine sichere Infrastruktur mit Docker und Sicherheitssystemen aufsetzen. Erst danach kommen die KI-Werkzeuge und ihre Sicherheitseinstellungen.

Dann folgt die Koordination im Team: Wie verhindert man, dass zwei Agenten dieselbe Aufgabe erledigen? Welche Grenzen setzt man der KI, welcher Code-Stil gilt? Den kritischsten Schritt sieht Branko Trebsche in der Unabhängigkeit der Artefakte, die saubere Vorausplanung erfordert, etwa mit Domain-Driven Design. Dazu gehört, die Stärken der Modelle je Programmiersprache zu kennen: „Nicht jede KI kann alles gleich gut.“ Dr. Michael Köpf ergänzt, dass vieles davon schon vor der KI gute Softwareentwicklungspraxis war.

Wie groß ist der Abstand zu den besten Cloud-Modellen?

Für Standard-Softwareentwicklung im Businessbereich „ist bei guter Vorbereitung der Unterschied null“, sagt Branko Trebsche. Ausnahmen sieht er in technologischen Spitzenbereichen wie der Entwicklung von Grafikspielen. Er selbst nutzt für 98 Prozent seiner Arbeit DeepSeek V4 Flash.

Den Vorsprung verschafft ihm nach eigener Aussage nicht das Modell, sondern die Entwicklungspipeline: gute Vorbereitung, sauberes Durchdenken, vernünftiges Strukturieren. Wer nur den großen Modellen hinterherläuft, riskiert, dass ein neues Modell das eigene Geschäftsmodell überflüssig macht, wie bei einfachen Tools in den letzten drei, vier Jahren.

Zur Zukunft offener Modelle ist er optimistisch. Jan Schulte weist darauf hin, dass konkurrenzfähige Open-Source-Modelle derzeit vor allem aus China kommen und einzelne Hersteller den Rückzug angedeutet haben. Branko Trebsche erwartet trotzdem dauerhaft offene Modelle, weil Rechenleistung immer leichter verfügbar wird, und künftig mehr Modelle aus Europa, sobald dort passende Rechenzentren stehen.

Häufige Fragen

Wann lohnt sich lokale KI statt Cloud-KI?

Branko Trebsche zufolge vor allem dann, wenn Datenschutz, Geschäftsgeheimnisse oder Rechtssicherheit auf dem Spiel stehen, etwa bei einem einzigartigen Geschäftsmodell. Für gewöhnliche Software wie ein CRM sei die Wahl dagegen egal.

Ist lokale KI günstiger als Cloud-KI?

Darum geht es laut Branko Trebsche nicht; dass lokale KI vor allem billig sein soll, nennt er ein typisches Missverständnis. Die Kosten hängen vom Anwendungsfall ab, gemietete B200-GPUs für 5 bis 6 Dollar pro Stunde können aber sehr günstig sein.

Kann man mit lokalen Modellen genauso gut programmieren wie mit Claude oder Codex?

Für Standard-Softwareentwicklung im Businessbereich ist der Unterschied nach Branko Trebsche bei guter Vorbereitung null. Entscheidend ist eine strukturierte Entwicklungspipeline, nicht das größte Modell.

Welche Hardware braucht man für lokale KI?

Ein MacBook mit 32 GB reicht für einfache Aufgaben wie E-Mails und Wissensmanagement, ein Mac Studio für strukturiertes Coding. Für mehr Leistung nennt Branko Trebsche eine Nvidia RTX 6000 für etwa 13.000 bis 14.000 Euro oder stundenweise gemietete B200-GPUs.

Was verlangt der EU AI Act von Unternehmen, die KI einsetzen?

Laut Branko Trebsche verlangt er, Mitarbeitende für KI-Systeme zu schulen, nicht nur für einzelne Produkte wie ChatGPT oder Claude. Dafür müssen Unternehmen zuerst ihre Zielinfrastruktur kennen.

Was sollten IT-Führungskräfte in den nächsten zwölf Monaten tun?

„Überlegt euch eure Zielinfrastruktur und vor allen Dingen bildet eure Mitarbeiter entsprechend aus.“ Ohne Koordination produziere KI so viel Abfall, dass der erwartete Produktivitätsgewinn ausbleibe.

Links

Direkt zum Thema

Kapitel

  1. 00:00Intro & Vorstellung von Branko TrebscheTranskript
  2. 01:34Warum überhaupt lokale KI?Transkript
  3. 03:40Vertrauen, Datenschutz und GeschäftsgeheimnisseTranskript
  4. 06:17Was bedeutet „lokale KI“ eigentlich?Transkript
  5. 09:37Was läuft heute auf MacBook und Mac Studio?Transkript
  6. 12:23Welche Hardware braucht lokale KI – und was kostet sie?Transkript
  7. 15:01Warum lokale KI nicht primär eine Kostenfrage istTranskript
  8. 17:15Wie führt man lokale KI in Entwicklungsteams ein?Transkript
  9. 20:02EU AI Act, Infrastruktur und KI-KompetenzTranskript
  10. 24:23Warum gute Softwareentwicklung durch KI wichtiger wirdTranskript
  11. 25:04Wie groß ist der Abstand zu den besten Cloud-Modellen?Transkript
  12. 27:17Wie schützt man sein Geschäftsmodell vor der KI-Entwicklung?Transkript
  13. 29:09Hat Open Source bei KI eine Zukunft?Transkript
  14. 32:09Wie entwickeln sich die Preise für Cloud-KI?Transkript
  15. 34:39Wem gehört eigentlich der Output einer KI?Transkript
  16. 36:58Vendor Lock-in und die langfristigen Kosten von KITranskript
  17. 38:31Welche neuen Geschäftsmodelle ermöglicht eigene KI-Infrastruktur?Transkript
  18. 39:12Was IT-Führungskräfte in den nächsten 12 Monaten tun solltenTranskript

Nachlesen

Transkript

Transkript anzeigen

00:00

Dr. Michael Köpf

Herzlich willkommen bei Token Therapie, dem Podcast für AI Engineering Leader. Ich sitze hier wie immer mit Jan Schulte und wir haben heute einen ganz besonderen Gast äh im Studio bzw. sitzt bei sich zu Hause im Studio in unserem virtuellen Studio äh Branko Trebsche und ähm ja, Branko ist ein echter Experte für ähm lokale KI. Das ist für mich ein ganz besonders spannendes Thema, weil ich selber sehr äh cloudlastig unterwegs bin in dem Bereich. Äh, also herzlich willkommen, Branko. Stell dich vielleicht gerne einmal kurz unserem Publikum vor.

00:35

Branko Trebsche

Ja, mein Name ist Branko Trebsche. Ich bin im Grunde seit fast 25 Jahren im Bereich Digitalisierung unterwegs. Mein erstes KI Projekt äh auf Basis von sogenannter schwacher KI, also alles was Machine Learning und ähnliche Geschichten ist, habe ich im betrieblichen Kontext äh im Kalenderjahr 2011 angefangen. ging es darum, eine Dispositionssoftware für mehrere tausend Mitarbeiter bei einem Unternehmen einzuführen und entsprechend linear optimiert Entscheidungen vorzubereiten. Und seitdem hat mich das Thema KI aufgrund des Optimierungspotenzials nicht mehr losgelassen. Ähm ja und seit einigen Jahren beschäftigen wir uns ja mit einer neuen Form von künstlicher Intelligenz, nämlich der generativen KI, die natürlich noch mal ganz andere Möglichkeiten bietet. ähm aber eben halt auch viele neue Fragen aufwirft, die wir gleich bestimmt andiskutieren werden.

01:34

Dr. Michael Köpf

Ja, sehr schön. Ähm, da fangen wir vielleicht direkt mal an, denn ich frage mich jetzt natürlich, warum sollte man sich überhaupt mit lokaler KI beschäftigen? Ich meine, wir haben Cloud Claude Code, wir haben Codex und so weiter, die wir in das in der Cloud einfach subscriben können, äh ohne dass wir uns irgendwelche Gedanken machen müssen über äh vielleicht noch eigene Hardware, die wir die wir maintainen müssen. Ähm welche Motivation äh hat man, wenn man sich sozusagen dieses Feld wagt?

02:03

Branko Trebsche

Na ja, es gibt natürlich äh eine ganze Menge kritischer Daten ähm, die durch eine KI verarbeitet werden können. Mein Lieblingsbeispiel ist immer ähm, dass jemand ein SaaS Unternehmen gründen möchte, ähm wo er vielleicht eine Software programmieren möchte und diese Software und die Idee ist einzigartig. Und nun nutze ich also irgendwelche Provider aus der Cloud ähm wo ich den Entwicklungsprozess KI gestützt umsetzen möchte. Und mein Problem dabei ist immer folgendes, dass ich sage, na ja, also denselben KI Provider, der alles grap und alle möglichen Daten auf unterschiedlichsten Wegen beschafft, um eben seine KI zu trainieren, dem soll ich nun also vertrauen, wenn er mir sagt: "Hey, ähm gib mir noch dein neues Geschäftsmodell zum Programmieren. Ähm und ich verwende dann die Ideen und die Leistung, die dahinter stecken, nicht? Da habe ich Schwierigkeiten. Und dann gibt es natürlich noch ein zweiten Bereich, das ist sozusagen der ganze gesetzliche Teil, ähm wo es natürlich auch darum geht, dass man ähm ja bei der Ausführung von bestimmten Geschäftsprozessen natürlich entsprechende Datenschutzbedarfe hat, äh die bestenfalls durch ein AVV Vertrag ähm gesichert sind, die vielleicht aber auch noch durch die Schwächen im EU-Recht gar nicht so richtig abgedeckt sind, wo man sich sowieso in Graubereiche begibt, die vielleicht gefährlich sein können. Ähm, da gibt's also eine ganze Menge Risiken abzuwägen, aus meiner Sicht. Ähm,

03:41

Jan Schulte

vielleicht da will ich noch mal kurz einhaken zu deinen ersten Punkt und zwar du hast jetzt gesagt äh, dass die natürlich potenziell auf diesen Daten trainieren können auf deiner Geschäftsidee. Ähm, aber ist das realistisch? Ähm, die ich meine haben ja einen ganz anderen Fokus. Ähm, natürlich könnte das unter unumständen ein Datensatz in dem Trainingsset werden, aber dass jetzt ein OpenAI oder ein Anthropic wirklich deine Idee klaut, ähm ist es nicht sehr sehr weit herbeigeführt oder?

04:13

Branko Trebsche

Na ja, also auch da würde ich versuchen noch mal einen Blick einzunehmen. Schau dir einfach mal das Accelerator Programm von Nvidia an, wo ja ganz bewusst Ideen gescoutet werden und wo man ja auch aus anderen Unternehmen heraus immer wieder guckt, okay, wo finde ich interessante Ideen, Geschäftsmodelle, wie komme ich da dran? Ähm auf der einen Seite bekommt man eben eine Möhre hingehalten, ganz klassisch. Ähm und auf der anderen Seite ähm hat es natürlich auch viel mit Glauben und Vertrauen zu tun. Und ich sag das noch mal sehr deutlich, warum soll ich einem Unternehmen vertrauen, das ähm nun auf unterschiedlichste Arten und Weisen und die Praktiken sind ja nun alle hinlänglich diskutiert worden, warum soll ich zu einem Unternehmen das notwendige Vertrauen entgegenbringen? Also unter normalen Menschen, also unter Anwendung des normalen gesunden Menschenverstandes komme ich zu dem Ergebnis: Hey, das kann ich nicht tun. ähm mir ist das Risiko zu groß. Und ähm wenn wir noch mal einen anderen Aspekt mit einbeziehen, den den ich auch sehr spannend finde, wie KI Modelle aktuell weiterentwickelt werden, ähm dann dann ist es natürlich auch so, dass ich egal was ich programmiere und egal was ich sozusagen mit den großen Providern umsetze, ich den natürlich immer wieder Ideen und Ansätze liefere, wie man etwas machen kann. Und ich habe im Zweifel auch gar kein Interesse daran, dass bestimmte Dinge, die ich baue und erschaffe, zu einem allgemeingut einer KI werden, weil das natürlich mein künftiges Geschäftsmodell durchaus beeinträchtigen könnte. Das gilt jetzt nicht für jedes Geschäftsmodell. Hey, wenn ich nur ein cooles CRM bauen will, das ist jetzt echt bei Leibe nichts Neues. Mach, wie du es gerne hättest. Das ist völlig egal. Aber ich kann mir sehr wohl eine ganze Reihe an Geschäftsmodellen vorstellen und an einigen arbeite ich auch, da weiß ich ganz genau, nein, das gibt's kein zweites Mal auf der Welt. Und dann haben diese Information da eben nichts verloren. Ähm ja, Michael.

06:18

Dr. Michael Köpf

Genau. Also für mich für mich wäre noch mal wichtig ähm an der Stelle vielleicht noch einmal zu sagen, was worüber wir eigentlich genau sprechen. Also, ich glaube, wie gesagt, die die das eine Extrem ähm z.B. Claude Code und Co. kennen wir ja ähm von der Funktionsphase her. Äh wenn wir jetzt aber von lokal sprechen, was was ist da eigentlich genau mit gemeint?

06:45

Branko Trebsche

Na ja, von lokaler KI spricht man üblicherweise, wenn man sagt, ich bilde die Inference auf von mir kontrollierter Hardware technisch ab und führe sie auch dort aus. Das ist für mich lokale KI. Und da ist vielleicht ein wichtiger Punkt, das können auch hybride Lösungen sein. Also, dass ich z.B. sage, okay, für bestimmte Aufgaben, die ich erledigt haben möchte, miete ich mir eine dezidierte oder mehrere dezidierte B200 300 auf Stundenbasis irgendwo und habe aber die Garantie, dass die Inference, die gelaufen ist, fire and forget ist. also, dass sozusagen meine Eingangsprompts nicht gespeichert werden, dass meine Ausgangsprompts nicht gespeichert werden, dass ich die Möglichkeit habe, die entsprechende Grafikkarte ähm zu konfigurieren, dass ich entsprechende Einstellung, die ich z.B. lokal vorbereitet und getestet habe, ähm dass ich die eins zu eins übertragen kann und sie dann eben auf der Karte auch sozusagen duplizieren kann und auch entsprechend nutzen kann. Und daraus ergeben sich dann ganz viele Szenarien, wie man mit KI umgehen kann. Ähm, es ist nämlich was anderes ähm, wenn ich Software entwickle oder ob ich gerade möchte ähm dass Geschäftsprozesse KI ähm mäßig unterstützt werden, dann habe ich natürlich andere Ressourcenanforderungen und damit natürlich auch andere Planungsparameter. Ähm, ich bin immer ganz, ich bin seit, seit vielen, vielen Jahren Freund des Themas lineare Optimierung ähm oder auch ähm der ähm Markov Thesis. Und die zwei Dinge haben ein paar Sachen gemeinsam, nämlich das eine ist, dass ich in der linearen Optimierung sozusagen Grenzen für Entscheidungsparameter vorgebe und ich quasi einen Lösungsraum beschreibe. Und egal welche Lösung ich wähle in diesem Lösungsraum, ähm jede Lösung ist valide und funktioniert. Das ist der eine Teil. Und dann gibt es noch den anderen Teil, der sich daraus so ein bisschen ableitet aus dieser Markov Theorie. Das ist die Frage der bedingten Entscheidung. Ja, wann immer ich eine Entscheidung getroffen habe und ich sozusagen weiter in die Zukunft fortschreite, hat das Auswirkung auf die nächste Entscheidung, die passiert. Und diese Parameter muss man aus Unternehmenssicht, aus Organisationssicht immer wieder im Auge haben, um letztenendes auch eine vernünftige Unternehmensplanung machen zu können und natürlich auch kalkulieren zu können, okay, wie kann ich denn jetzt äh und jetzt werde ich ein bisschen betriebswirtschaftlich, wie kann ich denn jetzt mein DB3 so optimieren, dass ich am Ende des Jahres auch den entsprechenden Unternehmenserfolg realisiert habe? Ähm,

09:38

Jan Schulte

ich möchte mal kurz zurückkommen zum lokalen ähm zur lokalen KI wirklich auf deinem Rechner, also jetzt nicht Hybrid Lösung. Ähm, was ist heutzutage realistisch ähm von Anwendungsfällen, Coding Task, Knowledge äh Task, der das ähm die du lokal laufen kannst auf deinem MacBook, normalen PC etc. und was für was brauchst du wirklich dedizierte Hardware? Z.B. irgendwie ein größeres Mac Studio oder eine DGX Spark von Nvidia. Mhm.

10:11

Branko Trebsche

Also, ich habe hier ein Mac Studio stehen ähm auf meinem Schreibtisch und ansonsten nutze ich ein MacBook. Ähm was auf den MacBook geht mit den kleinen 32 GB äh ist ein bisschen Wissensmanagement, das ist aber auch das Aufarbeiten von Belegen, die reinkommen für die Buchhaltung. Ähm, das ist das Beantworten und Vorbereiten von E-Mails, also relativ niedrigschwellige Tasks. Ähm, dann auf dem Mac Studio, da gehen schon ähm Coding Geschichten, wobei da muss man sehr strukturiert arbeiten. Ähm am Ende muss man sich ja klar machen, da kommt vielleicht, wenn es gut läuft, 100 Token ähm die Sekunde raus. Das ist jetzt nicht sonderlich viel. Das heißt, man muss sich sehr genau überlegen, welche Fragmente man dort entwickelt. Und was ich auf dem Mac Studio sehr, sehr gerne mache, ist, dass ich dort Code entwickel, ähm von dem ich nicht möchte, dass ihn ein Dritter kennt. Das geht sehr gut, wenn man bestimmte Technologien nutzt, ein strukturiertes Vorgehen hat und ähm weiß, wie man sich organisieren muss und wie man das sozusagen mit den anderen Ressourcen clever zusammenbringt, weil das ist ein echtes Zusammenspiel. Und natürlich lassen sich auch so mit so einem Mac Studio viele Sonderaufgaben erledigen. Wir hatten letztens hier so Nachbar Bäckerreise ein Problem, dass er halt sagte: "Hey, ich habe hier immer so ein Korb mit Restbrötchen. Kann man die nicht zählen?" Ähm ja, da haben wir dann so einen Spezialfall gehabt, wo wir gesagt haben, okay, da können wir mit einer einfachen Bild KI ähm die wir ein bisschen antrainieren, ähm können wir das Zählen der Restbrötchen vereinfachen. Ähm, wir hatten einen anderen Fall, wo es äh darum ging, aus alten Schiffsplänen von vor 20, 30 Jahren 3D Modelle zu erzeugen. Auch sowas funktioniert z.B. auf einem Mac Studio mit entsprechenden Spezialmodellen ganz gut.

12:23

Jan Schulte

Über welche Kosten sprechen wir, wenn wir jetzt höher gehen? Also beispielsweise Mac Studio Tinybox, Nvidia, DGX Spark. Also, wenn ich jetzt wirklich ein ein Modell, was ähm also laufen lassen will, was so in Opus 4.6 Klasse ist, also schon bisschen Power hat, wo wo man wirklich was machen kann, ähm was was würdest du da empfehlen, ähm in welche Richtung ich da gehen sollte?

12:50

Branko Trebsche

Ja, das ist das ist so ein bisschen wie Pudding an die Wand nageln, ne? Ähm, wie was ist der Use Case? Was will ich machen? Und das habe ich vorhin versucht so ein bisschen zum Ausdruck zu bringen, dass die Spannweite da natürlich unendlich groß ist. Mm. Und ähm ich mag das noch mal an meiner eigenen Entwicklungspipeline festmachen. Ähm ihr hattet letzte Woche, glaube ich, einen Kollegen da, der so ein bisschen über das Thema Domain Driven Design gesprochen hat. Da mache ich das, da bin ich an vielen Stellen sehr, sehr ähnlich unterwegs wie der Kollege. Deswegen habe ich die Folge auch sehr genossen. Ähm, weil ich mir dachte, okay, ich bin nicht der einzige, der sich sowas ausdenkt. Das finde ich jetzt schon mal immer gut. Ähm, aber der Punkt ist ähm wie viel Zeit habe ich, um bestimmte Dinge zu entwickeln? Ähm was ist sozusagen auch mein meine eigentliche Aufgabe, die ich hauptsächlich erledigen will? Also, ich kann natürlich auch äh mit einer RTX 6000 Videos erzeugen, ne? Ich muss ja nicht nur coden, ja? ähm solche Dinge eben. Also da da steckt wirklich die Frage hinter, was will ich tun? Und dieses was will ich tun bestimmt natürlich entscheidend darüber, welche Hardware brauche ich und was will ich, was muss ich am Ende tatsächlich einkaufen. Also, es kann sein, dass du mit einer kleinen Tiny Machine äh und 128 GB ähm Arbeitsspeicher, wo wo ein kleiner ein kleiner Chip ist, für 25000 € hinkommst. Man kann sie heute immer noch kaufen. Sie gibt's noch, man muss suchen, aber es gibt sie noch. Es kann aber auch sein, dass es heißt, okay, äh ich brauche eine RTX 6000, dann brauche ich 13, 14 000 €. Ähm, aus irgendwelchen Gründen ähm möchte ich muss ich mich vielleicht für ein Mac Studio entscheiden. Möglicherweise muss da entsprechender Arbeitsspeicher rein. Ja, dann kann ich auch wieder sagen, okay, sind 10, 15, 20 000. Das ist total schwierig. Und genauso gut gibt es ja auch Szenarien, wo man sagen kann, okay, hey, ähm, ich kaufe mir für bestimmte Aufgaben gebrauchte Grafikkarten, 4090, was auch immer und stell mir die irgendwohin. So, das ist der eine Teil. Und dann kommt ja noch hinzu, jetzt geht's ja nicht um um billig bei lokaler KI, das ist ja auch so ein so ein typisches Missverständnis, ne? Ähm, billig billig ist hier nicht das, worum es geht am Ende des Tages, ähm sondern hier geht's immer darum, Privacy zu bewahren, Geschäftsgeheimnisse zu schützen, rechts sicher unterwegs zu sein. Das sind die kriegsentscheidenden Elemente. Und wenn ich jetzt natürlich ähm zu Hause einen Rechner stehen habe, ich meine mein Mac Studio hier will in der Spitze 135 Watt Leistung. Ja, mein Gott, das fällt ja beim Strom noch nicht mal auf. Wenn ich jetzt allerdings dasselbe mit einer mit einer Nvidia RTX mache, ähm dann muss ich schon mal anfangen, mir wieder über die Stromrechnung Gedanken zu machen, ne? Also, das ist so, wenn man das auf den ganz kleinen Maßstab überträgt und das ist total schwierig, das einzuschätzen und dann kommt ja noch eine Gemeinheit hinzu. Ähm, jetzt hast du dir überlegt, jo, so will ich es machen und so hätte ich es gerne und das ist mein Anwendungsfall. Hey und morgen gibt's eine total neue Entwicklung auf dem KI Markt und du denkst, hey, das würde ich aber auch gerne machen. Und dann stellst du plötzlich fest, super, da habe ich gar nicht mehr die Hardware für. Deswegen finde ich diesen Ansatz sehr charmant, sich Systeme zu bauen, die du letztenendes auch immer wieder sehr leicht, um stundenweise zu bieten, auf entsprechende externe Ressourcen ähm übertragen kannst, weil was kostet so eine B200 im Moment? Ich glaube irgendwas zwischen 5 und 6$ zahle ich glaube ich im Moment in der Stunde. Ähm da kann ich je nach KI Modell 32 bis 64 gleichzeitige Sessions drauf haben. Ich bin da also verdammt effizient unterwegs. Ähm und dann kann ich auf die Art und Weise ziemlich günstig, schweinegünstig sogar äh KI Ressourcen bekommen, ne? Aber auch da wieder, das muss natürlich zu meiner Arbeitsweise passen. Wenn ich jetzt ähm Geschäftsprozesse habe, die 247 laufen müssen, ist das vielleicht nicht mehr so eine gute Option.

17:15

Dr. Michael Köpf

Jetzt sprechen wir ja gerade vor allem über die Kosten der Maschinen. Ähm, aber wir haben natürlich auch noch äh Kosten auf der auf der Personalseite bzw. äh Aufwend nenn es mal erstmal neutral, was was verschiedene Formen, glaube ich, annimmt. Also, ich stelle mir jetzt so eine typische Situation vor. Ich bin jetzt Teamleiter in einem Unternehmen, habe mein wegen 5 bis 10 Entwickelnde da äh in meinem Team und die kennen natürlich alle sozusagen von zu Hause schon, was so geht, arbeiten da vielleicht mit Codex, Claude Code und so weiter. Ähm und äh ich möchte das jetzt bei mir im Unternehmen gerne auch den zur Verfügung stellen, aber ähm aus, ne, du hast ja schon sozusagen die kriegsentscheidenden Gründe genannt, ja, aus einer Auswahl dieser Gründe heraus kann ich das halt nicht mit den Cloudlösung Cloud Cloud Lösungen machen. Ähm und dann ist natürlich jetzt für mich die Frage, was mache ich denn? Weil diese Leute, die ich da habe erstmal im Team, das sind ja sozusagen Entwicklende, ne? Die kennen die diese Services, wie es sie gibt in der Cloud. Ich habe wahrscheinlich auch ein paar fähige ähm DevOps Leute, da sitzen ähm die durchaus auch technisch Ahnung haben, aber die sind ja trotzdem erstmal noch keine KI Experten. Also wä jetzt für mich die Frage, wenn ich in so einer Situation bin, wie kann ich denn überhaupt einsteigen in in diese Thematik? Mhm.

18:36

Branko Trebsche

Ja, auch eine eine hochspannende Frage. Ähm, nun kann ich ja auch Claude Code, Codex und so weiter erstmal mit lokaler KI, so wie ich es vorhin definiert habe, nutzen. Das ist das ist mal der eine Teil. Und dann muss ich natürlich strategische Entscheidungen treffen letztenendes. Ähm und ich bin ja ein Verfechter von einem ganz einfachen Vorgehen. Wir überlegen uns erst, welche Infrastruktur wir brauchen auf Basis von Anforderungen, die sich aus unserem Geschäftsalltag ergeben. Also, ich halte überhaupt nichts von wir machen mal einen Prototypen und dann setzen wir den um und dann führt das schon irgendwo hin. Ähm, die Wahrheit ist, das führt immer ins Chaos. Ähm, weil wenn ich das natürlich in fünf oder zehn unterschiedlichen Organisationseinheiten eines Unternehmens mache, dann habe ich fünf oder zehn unterschiedlichen Lösungen und den Ciochlägt, möchte ich sehen und den CTO der guten Gewissens mir auch noch erklärt, dass er dafür die Verantwortung übernehmen möchte ebenfalls. Also lange Rede, kurzer Sinn, ich glaube, das funktioniert so nicht. Und dann geht es natürlich auch darum und da finde ich den ähm EU AI Act, der zwar viel gescholten wird, aber an einer Stelle sehr sehr hilfreich. Er sagt nämlich etwas darüber, wie Mitarbeiter auf KI vorbereitet werden sollen, nämlich der EU AI sagt, die Mitarbeiter sollen auf die KI Systeme geschult werden, nicht für ChatGPT, nicht für äh Claude oder sowas, sondern für KI Systeme. Damit ich diesem Anspruch sozusagen aus Unternehmenssicht überhaupt gerecht werden kann, muss ich mir natürlich schon mal darüber klar sagen, was ist den Infrastruktur, die ich so ungefähr haben will. Damit meine ich jetzt nicht ein 40 Jahresplan, wie es die Chinesen gerne machen. Ja, so viel Zeit haben wir nicht ähm um uns anzupassen. Aber ähm was wir natürlich schon tun können, ist, dass wir uns überlegen, okay, wie will ich in Zukunft entwickeln? Und daraus ergeben sich dann ein paar Vorgaben, also was sind die Kenntnisse, die meine Entwickler haben müssen und das kann dann z.B. sein, dass ich erstmal schulen muss. Wie kann wie setzt ein Entwickler eine für eine KI sichere Infrastruktur auf? Also, welche Rolle spielen dann möglicherweise ähm irgendwelche Docker, welche Sicherheitssysteme brauche ich ETC? Dann muss ich erstmal mit diesen Grundlagen anfangen. Und ich rede noch nicht über KI, ihr merkt es, ne? ähm hat mich noch ganz weit von entfernt. Und wenn wir dieses Grundlagenwissen geschaffen haben, dann können wir anfangen und sagen, okay, und jetzt bringen wir die KI Elemente ein. Wie verbinde ich das? Mit meinem Claude Code, mit meinem OpenCode, mit meinem Codex, was auch immer. Welche Sicherheitseinstellung muss ich vornehmen? ETC, dann geht es weiter. D muss ich mein Team ja synchronisieren. Ähm, wie im ganz normalen Software Entwickleralltag. Wie stelle ich denn sicher, dass ähm die Maschine von Michael, weil er gerade an einem Thema arbeitet, nicht zufällig die Dinge mit erledigt, die der Jan auf seiner Maschine als Task gerade bei sich ähm auf dem Tisch liegen hat, äh weil sich das gerade anbietet. Ähm, so dann dann kommen diese ganzen anderen Themen hinzu. Brauche ich Git, brauche ich kein Git, wenn ja, wie organisiere ich mich, wie stimmen wir uns ab, wie setze ich aber auch der KI entsprechende Grenzen, was sie erledigen soll, was sie nicht erledigen soll. Das heißt, ich es reicht ja nicht nur sozusagen zu wissen, wie lege ich einen Skill an, wie bediene ich eine KI ähm oder Claude Code oder Open Code, sondern ich muss mir insgesamt ein sehr klares systemisches Vorgehen überlegen, um auch keine Ressourcen zu verschwenden und Aufgaben mehrfach zu erledigen. Geht bis weiter bis hinzu, was ist eigentlich der Stil vom Code, den wir hier jeden Tag programmieren wollen. Ja, wie erwarte ich, dass er aussieht? Welche Ansprüche habe ich an Wiederverwendbarkeit? Ähm und das sind alles Fragen, die da die darauf einzahlen. Und wir kennen das so ein bisschen aus der aus der ähm agilen Softwareentwicklung. Da nehmen wir uns ja sehr sehr viel Zeit, um z.B. mit Methoden wie dem Domain Driven Design Systeme zu erschaffen und vorzuüberlegen, wie sie aussehen sollen, insbesondere ja um die Unabhängigkeit der Artefakte voneinander zu gewährleisten. Und das ist, glaube ich, der erste und aller allerkritischste Schritt, den jeder überlegen muss. Wenn verschiedene Entwickler an dem gleichen Thema arbeiten, muss die Unabhängigkeit der Artefakte gewährleistet sein und das wiederum erfordert eine saubere Vorausplanung. Und dann muss ich natürlich wissen, in welchen Programmiersprachen tue ich es. Dann muss ich möglicherweise noch wissen, welche KI ist in welcher Programmiersprache besonders gut. Dann muss ich die Fähigkeiten der KI verstehen lernen, weil die sind ja auch nur mal unterschiedlich. Nicht jede KI kann alles gleich gut. Ähm, dann muss ich natürlich auch das evaluieren und entsprechend in meine Arbeitsprozesse einplanen. Einfach ist das alles nicht. Jetzt könnte der nächste denken: "Hey, das ist vielleicht unmöglich, aber ähm sorry, auch hier gilt natürlich wieder nichts wird so heiß gegessen, wie es gekocht wird." Wenn ihr bereit seid, Fehler zu machen beim Starten und in der Umsetzung, dann ist es überhaupt kein Problem. Dann werdet ihr alle die richtige Lösung finden.

24:23

Dr. Michael Köpf

Ja, ich finde das ähm wieder mal sehr schön, weil ich glaube, also wenn ich wenn ich nicht richtig verstehe, ganz viele der Sachen, die du genannt hast, waren ja auch vor der KI eigentlich schon richtig und wichtig, ne? Und das sehe ich immer wieder, dass eigentlich jetzt, sag ich mal, die gute ähm Softwareentwicklungspraxis sozusagen wiederentdeckt wird, ja, im äh im Rahmen der KI. Ähm, finde ich erstmal grundsätzlich gut, weil je mehr Aufmerksamkeit das bekommt, desto besser. Ähm, und bestätigt natürlich auch so ein bisschen das, was wir die letzten Jahre da immer gemacht haben. Ähm, genau. Also, ich frage mich jetzt natürlich trotzdem ähm sagen wir mal, ich habe jetzt mein Team und ähm ich führe die ähm führe jetzt lokale KI ein, sagen ich hätte das auch schon alles ziemlich gut gelöst, diese Fragen, die du gerade gestellt hast. Ähm, dann frage ich mich immer noch, wie groß sozusagen das Gap ist zu dem, was die Leute jetzt von zu Hause gewohnt sind. Warum frage ich das? We ich selber schon erlebt habe, dass ähm aus z.B. die Freigabeprozessen heraus, ja, in Unternehmen, die die ähm Adaption von modernen Modellen immer ein bisschen hinterher hängt. Ja, und ich merke, dass die Leute schon sehr empfindlich sind und sehr enttäuscht sind, wenn sie jetzt meint gegen ein, ja, weiß ich nicht, drei Monate altes Modell benutzen müssen, ja, und dann sozusagen die Unterschiede sehen. Ähm und da ist jetzt natürlich für mich die Frage ähm wie groß ist der Unterschied, mit dem ich rechnen muss? Ähm, wenn ich statt äh z.B. im aktuellen Anthropic Modell ähm sag ich mal ein sehr sehr gutes lokales Setup habe.

26:00

Branko Trebsche

Der Unterschied ist, ich sag mal für Standard Softwareentwicklung im Businessbereich. Also, wenn du jetzt nicht gerade äh ich sag mal ein Grafikspiel entwickeln willst oder sowas ähm also wirklich, wo du wo du in in ganz technologisch betrachtet Spitzenbereiche hineingehst, ist bei guter Vorbereitung der Unterschied null. Ähm, also ich benutze immer noch und standardmäßig für 98% aller Dinge ähm, die ich entwickel, DeepSeek V4 Flash und das reicht mir völlig. Und damit, sorry, um das auch noch mal ganz klar zu sagen mit meiner Entwicklungspipeline, damit blase ich ein Opus 5 immer noch locker weg, was das Ergebnis angeht. So, das heißt, das ist aber doch der der entscheidende Punkt und auch der ermutigende Teil eigentlich. ähm nämlich das sozusagen durch gute Vorbereitung, durch sauberes, durchdenken, durch vernünftiges Strukturieren, ich mir trotz der rasanten Entwicklung die KI Modelle im Moment machen, ich mir immer einen Entwicklungs und Wissensvorsprung sichern kann. Und das ist das ist wirklich von entscheidender Bedeutung, wenn ihr als Unternehmer am Ende des Tages immer nur den groß der der den Entwicklung der großen KI Modelle hinterher hächelt, dann ist ja auch die Frage, was ist denn überhaupt noch der Kern eurer Wertschöpfung? Was ist das Ding denn dann überhaupt noch wert? Funktioniert das hier gerade nur noch irgendwie oder muss ich jeden Tag damit leben? dass irgendein KI Modell vorbeikommt und mir gerade mein Geschäftsmodell zerstört. Und wir haben das doch schon erlebt in den letzten drei vier Jahren, dass irgendwelche Leute gesagt haben, so, jetzt baue ich hier mal irgendwie so ein kleines 0815 Tool, das irgendetwas macht und vier Wochen später konnte irgendein neues KI Modell diese Aufgabe automatisch und zack, das Geschäftsmodell war zerstört, aber die Investition ist gelaufen und ich habe ganz früher mich äh in meinem Studium mit Unternehmensgründung und Entwicklung beschäftigt, also auch Was sind überhaupt werthaltige Geschäftsideen? Wie erstelle ich einen Businessplan? Wie transformiere ich so einen Plan in die Realität? Und da muss ich doch, wenn ich mich sozusagen für die Umsetzung eines Geschäftes entscheide, muss ich mir doch schon sehr sehr sicher sein, ähm dass ich dieses Invest überhaupt machen will. Und wenn das jemand testen will oder ihr wollt, dass jemand gegen euer Geschäftsmodell tretet, dann geht zu Venture Capitalists. Ja, sagt, ich will ein paar Anteile verkaufen, was auch immer. Und lasst euch von Profis gegen das Geschäftsmodell trägen. Wir werden euch schon sagen, was ihr davon erhalten, ne? Also, das ist so ein bisschen der Punkt, der mich da immer beschäftigt. Also auf der einen Seite darf man keine Angst haben und auf der anderen Seite braucht ihr genügend Value, Inhalt und Struktur, damit ihr ein Geschäftsmodell habt, das auch sozusagen diese stark transformativen Zeiten überlebt. Ähm,

29:10

Jan Schulte

ich habe jetzt noch mal eine Frage, weil du jetzt gerade äh gesagt hast, ähm äh, du nutzt lokal im Prinzip vor allem DeepSeek V4 Flash und bläst damit Opus weg. Ähm, also Deep DeepSeek ist auf jeden Fall ein sehr gutes Modell. Ähm, aber prinzipiell bist du natürlich angewiesen für lokale ähm L oder für lokale KI ähm auf Open Source Modelle und das sind aktuell äh im Wesentlichen chinesische Modelle und viele chinesische oder einige chinesische Hersteller, ich glaube es war äh Qwen oder so, die haben schon angedeutet, dass zukünftige Modelle nicht mehr Open Source gemacht werden äh oder als Open Source veröffentlicht werden. Ähm in den USA ähm geht das auch schon äh also da ist natürlich der Widerstand gegen Open Source von den großen Anbietern noch viel größer. Der einzige ist im Prinzip äh Google und so ein bisschen Meta noch ähm die überhaupt noch Open Source Modelle anbieten. Ähm wie lange wird das überhaupt noch gut gehen, dass wir überhaupt noch äh konkurrenzfähige Open Source Modelle bekommen?

30:18

Branko Trebsche

Spannende Frage. Meine Prediction unendlich lang. Warum? ähm weil KI Ressourcen überall auf der Welt wie wie Pilze aus dem Boden schießen. Ähm das heißt, der Zugriff auf Rechenleistung wird immer einfacher und ähm das arbeitenden Verbundsystem ist die Open Source Community schon lange lange gewöhnt. Insofern mag ich die Bestrebung verstehen, dass bestimmte Unternehmen ähm versuchen natürlich ihre Investition zu sichern. Ich meine, das ist das, ich habe vorhin das Beispiel von der Möhre schon gebracht. Am Ende sind die KI Anbieter alle miteinander hingegangen und haben uns natürlich angefüttert, ne? Und haben gesagt, guck mal hier, hier gibt's geile Werkzeuge, hier gibt's geile Tools und da kann man so unendlich viel machen und wir Menschen sind ja durchaus auch alle bequem. Wir gewöhnen uns ganz schnell an solche Dinge und wir sind auch total entsetzt, wenn uns jemand unser Spielzeug weg wegnimmt. Das kennen wir alle schon aus dem Sandkasten. Aber wir haben noch was anderes aus dem Sandkasten gelernt. Es kommt immer jemand mit einem neuen und mit einem anderen Spielzeug vorbei. Und äh das ist vielleicht der Gedanke, der der uns an der Stelle so ein bisschen tragen sollte. Wir wir brauchen da überhaupt gar keine Angst haben und ich glaube auch, dass in Zukunft aus Europa viel mehr KI Modelle kommen werden, wenn hier denn irgendwann mal die passenden Rechenzentren stehen. Ähm denn so schwer, das muss man sich auch klar machen, wenn man natürlich das entsprechende Geld hat, wenn man die entsprechende Hardware hat, so schwer ist es jetzt auch nicht, KI Modelle zu entwickeln. Ist jetzt keine Rocket Science mehr, ne? Ähm, das war's vor 7, 8, 9, 10 Jahren mal, aber ähm technologisch betrachtet ist das heute allgemein gut. Ähm,

32:10

Jan Schulte

die großen Hersteller subventionieren ja massiv ihre Subscriptions. Ähm, bei Anthropic geht man, glaube ich, davon aus, dass der Maxplan von 200 € Anthropic real quasi 5000 € kostet. Ähm, vermutlich wir werden diese subventionierten Subscriptions demnächst irgendwann aufhören. Was was glaubst du äh wann wann das in etwa kommen wird und äh wie man sich dann am besten vorbereitet mit Alternativen wie z.B. äh lokale KI?

32:42

Branko Trebsche

Also erstmal dieser dieser Gedanke, dass die dass diese ganze Subventionierung mal aufhört, der der ist ja schon recht lange da und wir haben jetzt zwei Bewegungen, die wir bei der Preisentwicklung und bei dem Thema Subvention in Betracht ziehen müssen. Ähm, das eine ist, dass ich die Leistungsfähigkeit der Hardware von der aktuellen Nvidia Generation zur nächsten Nvidia Generation verdreifachen wird. So, das heißt, wir kommen wir kommen sicherlich an einen Punkt, wo die Frage der Subvention sich vielleicht einfach durch die Leistungsfähigkeit der Hardware in einem anderen Licht darstellen wird, wie heute. Auf der anderen Seite heißt das für die großen Hersteller aber auch, wenn sie wirtschaftlich arbeiten wollen, ähm dann werden die, was die aktuelle Hardware angeht, die irgendwo rumsteht, eine Menge Abschreibung für Aufwendung haben, die sie am Ende des Tages aber wahrscheinlich in Geld am Kunden gar nicht mehr realisieren werden können. Das ist den Investoren meiner Meinung nach aber auch bewusst. Und insofern denke ich nicht, dass ähm es in Zukunft keine attraktiven Subscription Möglichkeiten mehr geben wird. Die Frage ist nur und das ist ja auch noch mal so ein Punkt, unter welchen Bedingungen werden diese Subscriptions stattfinden? Denn wenn sozusagen aus dem reinen wirtschaftlichen Nutzen heraus ähm ja aus Sicht des KI Anbieters nur einkommen und Geld machendes Thema ist, dann dürfte eine einfache Subscription auf Dauer nicht mehr wirtschaftlich sein. Das heißt, die werden sich in anderer Form Rechter sichern wollen. Und es gab ja jetzt schon einige Diskussionen über die Frage, wem gehört eigentlich der Output einer KI? und Anthropic hat das ja mal versucht und hat versucht für sich zu claimen, dass jede Antwort, die aus Klotraut komm rauskommt, auch Anthropic gehört. Ähm was ja ganz spannende juristische Fragen aufwerfen würde, wenn wir das mal annehmen. Ähm und da wir an der Stelle auch nicht wissen, was kommt, sollten wir umso besser auf alternative Szenarien vorbereitet sein und umso mehr ein Auge auf lokale KI werden.

35:19

Dr. Michael Köpf

Ja, das ist natürlich ein brutaler IP Claim, den die da machen. Ähm, ich bin auch deshalb immer empfindlich, wenn äh wenn Claude äh sozusagen Commit ähm ja, also und das auch so Kennzeichen habe ich auch mal schon gefragt, warum die das eigentlich machen. Ähm na ja, aber genau, also du rechnest tatsächlich mit sinkenden Preisen, wenn ich das jetzt mal so bei dir zwischen den Zeilen raushöre.

35:47

Branko Trebsche

Na, ich ich rechne nicht zwischen nicht unbedingt mit sinkenden Preisen. Ich glaube nur nicht, dass sozusagen dieses Subscription Thema und die Subvention als solches ähm auf Dauer in also jetzt in 2 d Jahren, wenn die neuen Hardware Generationen draußen sind, dass das da noch ein sehr sehr großes Thema sein wird. Ähm und was die Preisentwicklung sozusagen pro Token angeht, ähm ist es ja so, dass immer mehr Menschen KI nutzen werden, dass immer mehr KI Anwendungen erzeugt werden und wie sich sozusagen die Tokenpreise als solches entwickeln, ist ja eigentlich gar nicht von der Nutzung abhängig, sondern da ist eher die Frage, wo kommt genügend Arbeitsspeicher her? Das das ist der Engpass. Das treibt sozusagen die Hardwarekosten und diese ganzen externen Faktoren, die sozusagen ähm auf den Preis einzahlen, bis eine Maschine im Rechenzentrum betriebsbereit ist. Ähm, da wird die Frage entschieden, wie sich die Kosten für die Token auf Dauer entwickeln werden. Und ein anderer Aspekt, der mir noch sehr wichtig ist, äh man sieht das an der Strategie von Microsoft ähm oder auch an der Strategie von SAP oder Salesforce. Ähm, man versucht eben künstliche Intelligenz so sehr in seine Systeme zu integrieren, dass man den Kunden letztenendes über sein Produkt abhängig hält. Ähm und das ist ein Punkt, wenn sich Unternehmen sozusagen in diese Falle begeben, dann werden sie sehr schnell erleben und merken. Und wer so seine Erfahrung Microsoft gemacht hat als Einkäufer vielleicht äh hat er hat da schon Erlebnisse. Ähm da wird man sehr schnell merken, dass ich das natürlich drastisch auf die Preise auswirken wird. Und so ist die Frage gar nicht so sehr, was es mit den Tokenkosten, sondern je nachdem in welcher Vertragskonstruktion bewege ich mich und wie wird sich das auf den Preis auswirken. Das ist, glaube ich, die viel spannendere Frage. Und dann vielleicht noch der dritte Aspekt dazu, der mich bei der Frage beschäftigt, wenn ich natürlich heute ähm ich sag mal für für 300 400.000 € eine hübsche B200 kaufen kann und ich in 3 Jahren eine Maschine kaufen kann, die auch 400.000 1000 € kostet, aber 30 mal leistungsfähiger ist, ähm dann hab muss ich mir vielleicht eher die Frage stellen, okay, wie kann ich denn als Unternehmen, wenn ich auf eigene Hardware setze, ähm solche KI Maschinen in Zukunft so auslasten, dass sie mir den optimalen Nutzen bringen? Und das wiederum wirft ja die Frage auf, okay, hey, welche neuen Geschäftsmodelle werden denn durch KI für mich plötzlich möglich? Wo kann ich meinem Kundenservices anbieten, die entsprechenden Mehrwerte liefern? Wie kann ich möglicherweise mit meinen Produkten, weil ich Abwandlung davon bereitstellen kann, neue Märkte erobern? Woher ergeben sich für mich Umsatzpotential? Da habe ich dann natürlich auch nach vorne gerichtet noch mal ein ganz anderes Set an Fragen, dass ich in Betracht ziehen könnte und ähm dann ist das mit den Tokenkosten gar nicht mehr so schlimm.

39:05

Dr. Michael Köpf

Ja, wir sind schon ähm etwas über der geplanten Zeit, wie immer. Da muss ich ein bisschen lächeln dabei. Ähm deshalb vielleicht von von mir sozusagen als als Abschlussfrage ähm welchen Tipp würdest du den IT-Führungskräften gerade in der in der Softwareentwicklung geben im Bereich ähm KI für die nächsten, sagen wir mal 12 Monate? Ja.

39:33

Branko Trebsche

auch eine sehr spannende Frage. Den muss ich wirklich mal kurz nachdenken. Ähm, aber am Ende ist es ist es eigentlich immer wieder dasselbe. Überlegt euch eure Zielinfrastruktur und vor allen Dingen bildet eure Mitarbeiter entsprechend aus. Ähm, es ist ein besonderer Koordinationsbedarf notwendig, um KI für sich positiv zu nutzen, weil ihr sonst super viel Müll während der täglichen Arbeit produziert, ähm der sehr, sehr schnell die Vorteile von KI auffrisst und dann ist es eben nicht der erwartete Produktivitätsboost. Also, ich mache das mal an dem ganz klassischen Beispiel. Wenn ich ähm die Entwicklung eines Softwareprodukts in der Theorie um 80% in der Zeit verkürzen kann, ähm und ich die Tokenkosten gegen die eingesparten Personalkosten rechne, dann sieht es im ersten Moment voll top aus. Da muss ich ja als Manager eigentlich sagen, jo, unterschreibe ich, mache ich, ne? Ähm, ein bisschen zynisch formuliert könnte ich aber auch sagen, na ja, dann hast du vielleicht vergessen ähm die Kosten für die Abfindung deiner Mitarbeiter, die du nicht mehr brauchst mit einzuberechnen. Moment, Showstopper. Ähm, man könnte aber auch andersrum formulieren und sagen, na ja, wahrscheinlich wird deine Kostenprediction so nicht eintreffen, ähm weil du einfach zu viel Abfall produzierst, den du letztenendes immer wieder aufräumen musst. Und das wiederum ist die implizite Aufforderung dazu, sich Gedanken zu machen über die Infrastruktur, über die Fähigkeiten, die die KI braucht, die man einsetzt und über die Fähigkeiten der Mitarbeiter, die sie haben müssen. Und letzter wichtiger Punkt, wie entwickelt sich unter der Bedingung, dass ich KI einsetze, das Produktportfolio und mein Unternehmen weiter, damit ich nämlich nicht in diese unangenehme Abfindungsdiskussion?

41:33

Dr. Michael Köpf

Ja, ganz herzlichen Dank, Branko, für diese Einblicke in die in die lokale KI und ganz herzlichen Dank auch an unsere Zuschauer. Ich sage bis nächste Woche. Danke euch.

41:47

Branko Trebsche

Bis bald. Tschüss.

Alle Folgen im Protokoll