Zum Inhalt springen
token therapie

Sitzung 11

10. November 2026 um 13:30 Uhr

Evidenz statt Hype: KI in der Softwareentwicklung

Mit Sebastian Baltes, Professor of Software Engineering, Heidelberg University

Worum es geht

Shownotes

Kurz gesagt: Sebastian Baltes, Professor of Software Engineering an der Heidelberg University, spricht über Evidenz statt Hype in der Debatte über KI in der Softwareentwicklung. Seine Kernaussage: Code schreiben ist heute gut automatisierbar, Software Engineering ist damit aber nicht gelöst. Weil Generieren einfach und Überprüfen teuer ist, rät er Unternehmen, Entscheidungen über KI mit eigenen Daten zu treffen statt nach Hype und sozialen Medien.

Das Wichtigste in Kürze

  • Die KI-Debatte ist laut Sebastian Baltes zugleich zu viel und zu wenig empirisch: Benchmarks bekommen viel Aufmerksamkeit, die Wahl von Modellen, Tools und Techniken folgt aber oft dem Hype.
  • Belegt ist der Nutzen von KI vor allem beim Generieren von Code und, mit gutem Kontext, von Testfällen.
  • Ob Kontextdateien für Coding Agents helfen, ist offen: Manche Studien finden bei generierten Dateien keinen Gewinn an Korrektheit, aber mehr Tokenverbrauch, andere einen positiven Effekt.
  • In einer Studie, die er nennt, stieg mit KI-Tools die Zahl gemergter Pull Requests (nach seiner Erinnerung um etwa 20 Prozent), die Zahl der Builds und der fehlgeschlagenen Builds aber ebenfalls.
  • Mit versteckten Prompts im Übungsblatt fand sein Lehrstuhl heraus, dass nach seiner Erinnerung rund 80 Prozent der Studierenden eine KI-generierte Reflexion abgaben.
  • In der Begutachtung lässt er lokale Modelle Zahlen eines Papers mit den veröffentlichten Daten nachrechnen und Referenzen prüfen, statt sich auf KI-Detektoren zu verlassen.
  • Sein Rat an Unternehmen: auf die eigenen Entwicklerinnen und Entwickler hören und Entscheidungen mit Daten aus dem eigenen Unternehmen treffen.

Ist Software Engineering gelöst, wenn KI den Code schreibt?

Nein, sagt Sebastian Baltes. Boris Cherny, der bei Anthropic Claude Code entwickelt hat, sagt immer wieder, Coding sei gelöst. Baltes unterschreibt das nicht: Code schreiben sei gut automatisierbar, Software Engineering aber schon immer mehr gewesen. Seine Zusammenfassung: „Software Engineering ist nicht gelöst, aber vielleicht Code schreiben“.

Was bleibt, liegt vor und nach dem Code:

  • Requirements Engineering: entscheiden, was gebaut wird, und es aufschreiben, bevor man es einer KI übergibt.
  • Validierung: prüfen, ob das Ergebnis tut, was beauftragt wurde und was die Nutzerinnen und Nutzer wollen, nicht nur Tests gegen den eigenen Code.
  • Wartung: Als Beispiel nennt er das GitHub-Repository von Claude Code mit, nach seinen Worten, rund 18.000 offenen Issues. Wäre Software Engineering gelöst, ließen die sich automatisch einschätzen und abarbeiten.

Auch generierte Tests brauchen Prüfung: Tests, die aus der Implementierung entstehen, bestätigen womöglich nur fehlerhaften Code statt der Spezifikation. Je mehr Freiheit man einem KI-Tool lässt, desto mehr Lücken füllt es aus den Trainingsdaten statt aus dem Kontext des eigenen Projekts.

Warum lässt sich Produktivität mit KI so schwer messen?

In Experimenten mit Benchmarks prüft man meist, ob ein Agent kuratierte Issues aus Open-Source-Projekten ähnlich löst wie damals das Projekt. Objektiv messbar sind dort vor allem verbrauchte Tokens und benötigte Zeit. Für Codequalität und Komplexität gibt es Metriken, die aber umstritten sind.

Im Unternehmen will man eigentlich den Wert messen: ein Feature, das sich verkaufen lässt, ein gelöstes Kundenproblem oder bessere Wartbarkeit für die nächste Erweiterung. Weil das schwer in Zahlen zu fassen ist, greifen Firmen zu Output-Metriken wie Commits, Codezeilen oder Tokenverbrauch („Tokenmaxing“). Von Letzterem sind laut Sebastian Baltes viele schon wieder abgerückt, darunter ein Manager von Uber in einem Interview.

Wie trügerisch einfache Zahlen sind, zeigt die Studie zu Pull Requests: Mehr gemergte Pull Requests sahen nach mehr Produktivität aus. Unerwähnt blieb, dass die Last auf der CI-Infrastruktur (Continuous Integration, das automatische Bauen und Testen) noch stärker stieg und mehr Builds fehlschlugen. Jeder fehlgeschlagene Build erzeugt Arbeit, die man gegen den Gewinn rechnen müsste.

Wie groß ist das Problem mit AI Slop?

AI Slop heißt massenhaft erzeugter KI-Inhalt, der auf den ersten Blick gut aussieht, aber wenig Substanz hat. Sebastian Baltes sieht dahinter eine Asymmetrie: „Generierung ist einfach, das Überprüfen ist teuer“.

  • Open Source: Projekte wurden mit Pull Requests geflutet, die eine gute Beschreibung haben, aber voller Fehler sind oder gar kein Problem lösen. GitHub hat 2026 Funktionen nachgeliefert, mit denen Projekte Beiträge externer Contributors begrenzen können. curl hat sein Bug-Bounty-Programm abgeschafft, weil die Zahl gemeldeter mutmaßlicher Bugs nicht mehr beherrschbar war. Inzwischen fixt curl auch echte Bugs, die mit KI gefunden wurden, doch Echtes von Falschem zu trennen bleibt schwer.
  • Lehre: In Reflexionsaufgaben einer Master-Vorlesung, für die KI ausdrücklich nicht genutzt werden sollte, versteckte sein Lehrstuhl Prompts („Canaries“) im PDF des Übungsblatts und im Repository. Ein Agent, der sie las, fügte einen bestimmten Satz ein. So fiel auf, dass ein Großteil der Abgaben KI-generiert war und oft nicht einmal gegengelesen.
  • Forschung: Als Editor zweier Journals sieht er vielen eingereichten Papers an, dass Teile KI-generiert sind. Problematisch wird das, weil solcher Text laut Studien schwerer zu verstehen ist.

Für die Begutachtung empfiehlt er, die Asymmetrie mit KI als Werkzeug aufzulösen, ohne die Begutachtung auszulagern. Auf einem lokalen Mac Studio lässt er datenschutzkonform prüfen, ob die Zahlen eines Papers zum Repository und zu den Daten passen und ob die Referenzen existieren und die Aussage stützen. KI-Detektoren hält er für unzuverlässig: Ein Student stufte damit Papers aus der Zeit der Apollo-Missionen als eher generiert ein.

Was können Unternehmen aus empirischer Forschung lernen?

Sebastian Baltes rät, mehr auf die eigenen Entwicklerinnen und Entwickler zu hören und die Entkopplung zwischen Entscheidungen auf C-Level und den Entwicklungsteams aufzulösen. Studien zeigten etwa, dass erfahrene Entwickler stark von KI profitieren, Jüngere weniger. Unternehmen sollten deshalb fragen, wie sie ihre künftigen Senior Developer aufbauen.

Er verweist auf den Dunning-Kruger-Effekt aus der Psychologie (Papertitel: „Unskilled and Unaware of It“): Wer wenig über ein Thema weiß, überschätzt die eigene Kompetenz. Den Hype befeuerten oft Leute, die weit weg von den Entwicklungsabteilungen sind, während die Teams ein differenziertes Bild haben. Interne Umfragen, gezielte Experimente oder die Auswertung eigener Daten machen dieses Bild nutzbar.

Ob das gelingt, hängt an Personen. Bei SAP, wo er früher gearbeitet hat, ließ ein CTO interne Studien, Interviews und Umfragen durchführen, um Entscheidungen zu stützen. Fachleute mit Forschungshintergrund, auch aus Psychologie oder Soziologie, gibt es in fast jedem Unternehmen.

Als Einstieg empfiehlt er Lehrbücher zu Software Analytics (der Begriff aus der Praxis, geprägt unter anderem von Microsoft Research) und Empirical Software Engineering (der akademische Begriff). Aus Papers lasse sich selten das Ergebnis übernehmen, weil jedes Unternehmen anders ist, wohl aber die Methodik.

Wie verändert KI die Lehre in der Informatik?

Seine Software-Engineering-Vorlesungen haben sich in den letzten zwei Jahren stark verändert. In der Bachelor-Einführung kritisieren die Studierenden zum Beispiel gemeinsam einen Blogpost von Anthropic zum Softwareentwicklungsprozess mit KI: Woher kommen die Anforderungen, wie wird validiert, lässt sich alles an die KI auslagern?

Viele Grundlagen gelten weiter. Wer Diffs von KI-Code beurteilen will, muss Code lesen können, und Sebastian Baltes fragt: „Und wie kann ich den Code lesen, wenn ich nie von Hand geschrieben hab?“ Testfälle müsse heute niemand mehr alle von Hand schreiben. Softwarearchitektur, APIs und Eingabevalidierung bleiben wichtig, denn wer etwa mit Architecture Decision Records (ADRs) Vorgaben macht, braucht das Wissen, um der KI guten Kontext zu liefern.

Auch für Kinder hält er algorithmisches Denken für wertvoll, weniger einzelne Programmiersprachen. Studien zeigten, dass Code in den Trainingsdaten Sprachmodelle auch in anderen Aufgaben besser macht; ähnlich helfe strukturiertes Denken Menschen über das Programmieren hinaus.

Häufige Fragen

Ist Programmieren durch KI gelöst?

Sebastian Baltes hält Code schreiben heute für gut automatisierbar. Software Engineering umfasst aber auch Anforderungen, Validierung und Wartung, und die sind nicht gelöst.

Helfen Kontextdateien Coding Agents?

Die Evidenz ist uneinheitlich. Einige Studien finden bei generierten Kontextdateien keinen Gewinn an Korrektheit, aber mehr Tokenverbrauch, andere einen positiven Effekt; veraltete Dateien können einen Agent zudem in die Irre führen.

Wie misst man die Produktivität von Entwicklern mit KI?

Nicht über Commits, Codezeilen oder Tokenverbrauch, denn das misst Output statt Wert. Sebastian Baltes empfiehlt, mehrere Faktoren zu betrachten, auch Folgekosten wie fehlgeschlagene Builds, und die eigenen Teams zu befragen.

Funktionieren KI-Detektoren für Texte?

Nach seiner Erfahrung nicht zuverlässig. Wichtiger findet er, mit KI die Substanz zu prüfen, etwa ob Zahlen zu den Daten passen und Referenzen existieren.

Lohnt sich ein Informatikstudium noch?

Ja, sagt Sebastian Baltes. Software Engineering sei anders als vor ein paar Jahren, aber weiterhin lohnend; er rät zu kritischem Denken gegenüber Botschaften aus Marketing und sozialen Medien.

Links

Bücher, die Sebastian Baltes für den Einstieg in empirisches Software Engineering empfiehlt:

Direkt zum Thema

Kapitel

  1. 00:00Highlights
  2. 00:43Ist Software Engineering ein gelöstes Problem?Transkript
  3. 01:16Zu viel und zu wenig Empirie in der KI-DebatteTranskript
  4. 02:49Coding gelöst, Software Engineering nichtTranskript
  5. 04:48Wofür es schon Evidenz gibtTranskript
  6. 06:05Helfen Kontextdateien für Coding Agents?Transkript
  7. 08:39Was heißt positiv in der Softwareentwicklung?Transkript
  8. 10:23Produktivität messen: Wert statt OutputTranskript
  9. 11:46Mehr Pull Requests, mehr fehlgeschlagene BuildsTranskript
  10. 13:09AI Slop in Open SourceTranskript
  11. 16:15AI Slop in der LehreTranskript
  12. 18:15KI-generierte Paper im ReviewTranskript
  13. 20:48Was taugen KI-Detektoren?Transkript
  14. 22:26Kommt die Forschung noch hinterher?Transkript
  15. 25:32Was Unternehmen tun könnenTranskript
  16. 28:31Werden Unternehmen empirischer arbeiten?Transkript
  17. 30:16Wo man anfängt: Software AnalyticsTranskript
  18. 32:22Wie sich die Lehre verändertTranskript
  19. 35:31Brauchen Kinder noch Coding?Transkript
  20. 38:00Rat an angehende Informatik-StudierendeTranskript

Nachlesen

Transkript

Transkript anzeigen

00:43

Jan Schulte

Ist ein gelöstes Problem? Wenn KI den Code schreibt, wofür brauchen wir dann noch das Informatikstudium? Willkommen bei Token Therapie, dem Podcast für AI Engineering Leader. Mein Name ist Jan und mit dabei wie immer Michael.

00:58

Dr. Michael Köpf

Hallo allerseits. Unser heutiger Gast ist Sebastian Baltes, Professor auf Software Engineering an der Universität von Heidelberg. Und ja, Sebastian, deine Website heißt ja, glaub ich, bezeichnenderweise für dich schon Empirical, heißt ja, glaub ich, bezeichnenderweise für dich schon, empirical minus Software dot Engineering. Was ist denn deiner Meinung nach aktuell oder was genau stimmt denn deiner Meinung nach aktuell nicht mit der aktuellen Diskussion über KI und Software Engineering?

01:27

Sebastian Baltes

Ich würd sagen, sie ist gleichzeitig zu viel und zu wenig empirisch fundiert. Zu viel in dem Sinne, dass ja die Benchmarks, wie ihr wisst, eine große Rolle spielen und alle darauf immer schauen. Aber da könnt man, glaub ich, 'n ganz Podcast darüber machen, was mit den Benchmarks alles nicht stimmt und was die denn tatsächlich messen und wonach sich verglichen wird. Das ist die eine Seite. Und die andere Seite ist, dass bei Entscheidungen wie was jetzt das neueste neueste Coding ist, den man verwenden sollte, so das neueste Modell und was weiß ich, neuesten Skills und Plug ins viel durch Hype und durch soziale Medien getrieben wird. Und sehr, sehr wenig dazu, was man tatsächlich wirklich weiß darüber, welche Interventionen nenn ich's jetzt mal, welche Effekte haben und ob sie wirklich zu besserem Code führen oder vielleicht nur mehr oder weniger Tokens verbrennen. Das ist eine offene Frage für viele Probleme und bei vielen Leuten scheint das auch recht egal zu sein. Und gleichzeitig ist heute irgendwie, man sieht einen Paper und dann ist das Evidenz und das war noch nie so und das ist auch nicht anders geworden, nur weil jetzt viel mehr Paper sind. Und auch da würd mir 'n bisschen würd ich mir wünschen, dass 'n bisschen mehr Reflexion stattfindet und Entscheidungen vielleicht 'n bisschen fundierter getroffen werden. Und es ist immer super zu explorieren, Dinge auszuprobieren, nur Meinungen und Evidenz verwichtern doch sehr stark in letzter Zeit. Noch mehr als sonst sowieso.

02:49

Dr. Michael Köpf

Welche Meinung würdest Du denn sagen, ist aktuell weit verbreitet, aber eigentlich völlig falsch, völliger Quatsch?

02:56

Sebastian Baltes

Na, das, was Boris Cherny auch sagt, ja, für diejenigen, die ihn nicht kennen, der diejenige, der innerhalb von Anthropic Claude Code damals entwickelt hat und dann ist es ja sozusagen viral gegangen, der immer wieder sagt, Coding, da war mein Software Engineering gesoft. Und das würd ich so nicht unterschreiben. Und tatsächlich, wenn man mal 'n paar seiner Posts reinguckt, sagt er dann auch immer, ja, ich red ja vor allen Dingen über Codegenerierung, aber alles andere ist auch bald gelöst, aber so richtig sehe ich das noch nicht. Und ich würde auf jeden Fall sagen, dass Code schreiben was ist, was, ich find gelöst ist 'n schwieriger Begriff, aber was auf jeden Fall gut automatisierbar ist heute, aber Software Engineering ist ja viel mehr als das, war's schon immer. Ich will auch gar nicht kleinreden, welche Rolle Code mal gespielt hat. Viele Leute sagen ja, Software Engineering was never about, Coding, das würd ich auch nicht sagen. Oder würd ich auch nicht sagen. Aber ich würd sagen, der Teil ist relativ gut automatisierbar mittlerweile, aber da ist ja noch viel davor, grade im Requirements Engineering zu entscheiden, was ich überhaupt bau, wie ich das aufschreibe, bevor ich eine AI übergebe und vielleicht auch am Ende nicht nur Verifikation im Sinne von Tests generieren für den Code, den ich geschrieben hab, sondern auch validieren. Also ist das, was am Ende rauskam, tatsächlich das, was beauftragt wurde, was die potenzielle Userinnen und User haben wollen. Ich hab Wartung über die Zeit, schaut euch nur das Claude Code GitHub Repository an, da sind was weiß ich, 18000 Issues offen. Wenn das alles soft wäre, dann hätte auch ein vorweg 'n Weg, die Issues automatisch abzuarbeiten, einzuschätzen, vielleicht die zu schließen, die nicht so produzierbar sind und dann damit weiterzuarbeiten. Das kriegen die anscheinend auch nicht hin. Also würd ich sagen, Software Engineering ist nicht gelöst, aber vielleicht Code schreiben, aber ja, da gibt's ja noch viel mehr. Ich mein, muss ich euch zwar wahrscheinlich nicht sagen, aber manchen Leuten muss man's vielleicht abends noch mal sagen, Software eben ja ist nicht gleich Programmierung, sondern da gehört noch was anderes dazu. Ja.

04:48

Jan Schulte

Welche Studien gibt's denn oder welche empirische Evidenz gibt's denn für Themen, wo Du sagst, das ist jetzt schon, da gibt's jetzt schon mehr Evidenz einfach, dass KI wirklich weiterhilft?

05:07

Sebastian Baltes

Also auf jeden Fall dazu eben Code zu generieren und auch, wenn nicht 'n vernünftigen Kontext Liefertestfälle zu generieren. Wobei man da wieder auch aufpassen muss, was für Testfälle generiert werden. Hab ich jetzt Testfälle generiere, die die Implementierung testen, wobei die Implementierung ja nicht unbedingt korrekt ist oder dem entspricht, was ich mal irgendwann spezifiziert hab. Da muss man auch wieder aufpassen. Aber der Teil und auch vielleicht auch im Sinne, ich generier mir zuerst mal Testfälle, die scheitern auf Grundlage von der Spezifikation und schreib da Mingcode. Das funktioniert an sich schon, aber das wird dann spannend, wenn man in Details schaut, weil jetzt über Ergebnisse hinweg würde ich schon sagen, dass es so ist, je mehr Freiheitsgrade man 'nem AI Tool lässt, desto mehr kann offensichtlich auch schiefgehen und desto mehr Lücken werden gefüllt aus den Trainingsdaten und vielleicht nicht aus dem Kontext, der in meinem Projekt relevant ist und aus den Anforderungen spezifiziert hab. Und da in diesem Raum gibt's verschiedene Experimente, aber die immer nur so ganz kleine Lücken versuchen zu füllen. Und selbst da sind die Ergebnisse unklar. Ein konkretes Beispiel, der kennt ja wahrscheinlich diese, die Leute mittlerweile in den Repositories pflegen, und die Idee ist, man hat 'n für 'n Coding Agent, in dem der Projektkontext erklärt wird und die Struktur vielleicht und vielleicht irgendwelche Dinge, die man gelernt hat über die Zeit, die man da dokumentieren muss. Und es wird jedes Mal wieder dem der Session des Agents übergeben. Und die Annahme ist, damit kann man dann zum Beispiel Token sparen, weil der Agent sich nicht das mit mit Tool Calling aufsammeln muss im Repository und vielleicht dann bessere Entscheidungen trifft. Und dann hat man aber die Situation, dass diese Dateien vielleicht irgendwann nicht mehr aktuell sind. Und dann verwirr ich in Anführungszeichen vielleicht einen Agent mit Informationen, die nicht stimmen, wo er dann wieder erst mal rausfinden muss über Tool Calling oder was auch immer, dass das gar nicht mehr aktuell ist und dann entweder die Datei selbst aktualisieren oder er lockt vielleicht dann in eine falsche Richtung und so weiter. Selbst in dem Kontext ist schon unklar, die Intervention, ich pflege sone Datei, ja, nein, was die für Auswirkungen hat. Da gibt's... Also wir haben eine Studie dazu durchgeführt und sind da immer noch dran. Es gibt auch andere, die in verschiedene Richtungen zeigen. Also manche Evidenz geht in die Richtung, wenn man die Dateien generiert, dann ist das hat das eher 'n negativen Effekt, keinen Zugewinn in Korrektheit und aber mehr Tokenverbrauch. Das ist eine Richtung, aber auch da gibt's zu viele Ergebnisse, die auch in andere Richtungen zeigen, dass es vielleicht doch 'n positiven Effekt geben kann. Wenn dann, dass man da jetzt auch selbst für diesen konkreten Fall keine absolute Aussage treffen kann, weil die sich ja gleichzeitig natürlich auch die Modelle wandeln, die Agents wandeln und so weiter. Aber mein mein Punkt ist eher, dass man das das Problem wahrnimmt und sagt vielleicht in diesem kompletten Raum an an Techniken, die man hat, an Mechanismen, an auch an Arten, wie man AI verwendet, zu sagen, okay, wir da haben wir eine Lücke, die wär's jetzt wichtig zu schließen, weil im Beispiel von den Agent and Defizes, das ist was, was viele verwenden, viele Open Source Projekte mittlerweile verwenden. Aber was sind denn die Effekte davon? Ist es tatsächlich positiv? Ich weiß nicht, ob ihr den kennt, der vertritt so oder hat zumindest von Anfang an die Philosophie viel eher vertreten. Tool Coding ist das Wichtige und alles andere, die Marktanfall schön und gut. Das das ist aber nicht der Kernmechanismus. Kann man vertreten die Meinung, aber dann ist auch wieder die Frage, stimmt das? Ja, nein? Und ich glaub, da wird schon allein über den Problemraum gar nicht so viel gesprochen an Fragestellungen, die interessant sein könnten, geschweige denn die Experimente durchgeführt, um's zumindest vielleicht für ein Modell und für einen Harness mal zu zeigen? Mhm.

08:39

Dr. Michael Köpf

Du hast jetzt so relativ salopp positiv Schrägstrich negativ gesagt. Also ich erinner mich immer an die Riesendebatten über das Thema Software sozusagen oder Development Productivity. Das ist ja auch sehr aktuell grade, weil ich mein, aus meiner Erfahrung jetzt überall laufen die KI Transformation, die Einführung und es soll ja immer irgendwie belegt werden, dass sich das Ganze auch lohnt und irgendwie quantifiziert werden, was der Impact ist. Vielleicht kannst Du noch mal bisschen genauer darauf eingehen, wie man denn überhaupt sich dem nähert und sagt, was ist denn eigentlich positiv und und negativ in der Softwareentwicklung?

09:17

Sebastian Baltes

Sehr gute Frage, danke schön. Also in dem in den Beispielen, die ich genannt hab, meistens sind solche Experimente basierend auf auf Benchmarks, die kann man hinlänglich diskutieren, was die denn genau messen oder nicht. Aber das ist son üblicher Ansatz, dass man sagt, das sind oft dann Open Source Projekte, kuratierte Issues aus Open Source Projekten. Es wird am Ende geschaut, ob 'n Agent in der Lage ist, eine ähnliche Lösung zu bauen, wie damals in dem Projekt gebaut wurde und akzeptiert wurde als Implementierung 1 Features oder als Bugfix und was auch immer. Da hat man dann 'n relativ klares Signal und man kann mit Metriken entscheiden, hat hat der Agent das geschafft? Ja, nein. Ob das Problem ist, es gibt ja immer mehr als eine richtige Lösung und wie man das dann erfasst, dann wird's schon wieder schwierig. Für Codequalität, Codekomplexität gibt's Metriken, die sind aber auch alle umstritten und schwierig. Was man dann aber vielleicht objektiv messen kann, ist so was wie wie viele Tokens, Input Output Reasoning Tokens wurden verbraucht in der Session. Das kann man vergleichen, Wenn man einfach die Annahme macht, das ist gut genug, wenn das so implementiert ist wie in dem ursprünglichen Projekt. Kann man aber zumindest sich mal anschauen, wie effizient ist das denn passiert und effizienz gemessenem Tokenverbrauch oder vielleicht auch einfach Zeit, wie's gedauert hat. Wenn man jetzt ins Unternehmen schaut, dann wird's schon schwieriger, wenn man Entwicklerinnen und Entwickler hat, die AI Tools verwenden, Software zu bauen, im besten Fall Features zu bauen, die ausgeliefert werden, die irgendwelchen Kunden im besten Fall was bringen, Mehrwert schaffen. Dann will ich ja eigentlich bei Produktivität den Wert messen, den Wert im Sinne von, das ist 'n neues Feature, das kann ich einem Kunden verkaufen oder das löst 'n Problem 1 bestehenden Kunden. Oder Wert kann auch sein, ich hab meine Software so umgebaut, dass die nächste Erweiterung vielleicht einfacher wird, durch die Wartbarkeit verbessert hab. Und all das ist sehr schwer in in Metriken zu fassen, dieser Wert von der Änderung und was dann passiert ist, dass zum Beispiel Tokenverbrauch als Metrik ausgegeben wurde, Tokenmaxing, hab ich ja wahrscheinlich alle schon mal gehört. Auch da sind viele schon zurückgerudert. Da gab's 'n Interview mit dem Uber, das war der, was ist der CTO oder der CEOO, das weiß ich nicht mehr, der gesagt hat, war vielleicht keine sone gute Idee. Viel AI verwenden ist vielleicht keine gute Miete. Okay. Was dann aber oft passiert, ist so was wie, es wird Commits gezählt oder Line of Code generiert. Es hat auch wieder eher Output und ich kann immer sehr, ich kann mit sehr viel Code das Gleiche ausdrücken wie vielleicht mit viel weniger Code und wenn ich den Wert messen will, ist das vielleicht auch keine gute Metrik. Und es ist meistens 'n Problem, weil sich eben nicht auf eine Variable runterbrechen kann, aber irgendwie ist der Wille da, das trotzdem zu tun. Sie erinnern mich an eine Studie, da wurde gemessen, wie viele Pull Requests wurden denn das war auch im unternehmerischen Kontext, in verschiedenen Unternehmen seit der Einführung von AI Tools geschlossen, also implementiert, geschlossen, gemerged und waren dann in dem Produkt drin. Und dann wurd gesagt, das ist weiß ich nicht, glaub, da mal 20 Prozent hochgegangen, also waren war das Entwicklungsteam 20 Prozent produktiver. Mhm. Kann man vielleicht so sehen, aber was in den Daten auch drin stand, was drin stand, was nicht diskutiert wurde, ist, dass die Last auf der CI Infrastruktur deutlich hochgegangen ist. Also die die Anzahl Builds ist noch mal deutlich signifikanter hochgegangen als die Anzahl der. Und die Build Failures sind auch hochgegangen. Und wenn man sich dann überlegt, okay, ich hab jetzt mehr Pull Requests gemerged und da waren Build Failures. Son Build Failure heißt, irgendjemand bekommt eine Mail, irgendjemand bekommt eine Nachricht, hey, der Build scheitert grad. Da muss man draufgucken oder man zumindest seinem Agent sagen, guck mal da drauf. Und dass es auch wieder Arbeit, die entsteht, die ich eigentlich wieder quasi einrechnen muss in das, was sich mehr vielleicht ausgeliefert hat. Und dann wird's schon wieder kompliziert. Und ja, wir wissen eigentlich schon seit Ewigkeiten, dass Software development Productivity sehr schwer zu fassen ist, dass es aus vielen Faktoren besteht. Und trotzdem fällt man immer wieder zu diesen einfachen Metriken zurück, die einfach nur Dinge zählen wollen wie Code Zeilencode geschrieben wurden und denkt, da ist jeder überein, dass das keine sone gute Idee ist.

13:09

Jan Schulte

Ja, Du hast es grad schon angedeutet, das Thema AI Slop spielt da ja eine ganz große Rolle auch. Und ich hab auch gesehen, dass Du dich sehr stark damit beschäftigst. Und da würde mich mal interessieren, wie groß ist denn denn das Problem mit AI Slop?

13:26

Sebastian Baltes

Also in Open Source sehr groß. Man sieht's allein schon daran, dass ja GitHub dieses Jahr Features nachgeliefert hat, zu beschränken mit an verschiedener Parameter. Zum Beispiel, dass man als externer Contributor nur eine gewisse Anzahl öffnen kann, dass man's vielleicht auch gar komplett verbietet, dass man sich erst mal das Recht erarbeiten muss, an 'nem Projekt beizutragen, einfach weil die geflutet wurden mit Pull Requests, die dann aufn ersten Blick toll aussehen, 'n super Beschreibung haben, der Code sieht okay aus und man merkt dann erst, wenn man tiefer reinschaut, dass das eigentlich voller Fehler ist oder gar kein Problem löst oder vielleicht eine Security Issue Fix, was es gar nicht gibt. Und das ist das große Problem bei AI, ich glaub, dass es erst mal oberflächlich gut aussieht. Das ist die Asymmetrie ist in Generierung ist einfach, das Überprüfen ist teuer, was nun mal auch bei Code gegeben ist. Wir sind noch nicht so weit, dass die AREngines auch einfach den Code reviewen können und dann sagen passt und dann kann man sich darauf verlassen, sondern sind wir leider noch nicht. Und daher ist diese Flut an vielleicht manchen Contributions, die auch gut sind, durchdacht sind und vielleicht auch regeneriert erzeugt wurden, nicht zu differenzieren ist zwischen, das sind einfach, da hat jemand mal seine Claude Code Session angeworfen und Claude hat gesagt, da fehlt vielleicht was und da müssten wir mal beitragen. Dann hat man dann mal 'n Pull Request aufgemacht und sieht nicht, dass das sone son Rattenschwanz an weiteren Tätigkeiten von Leuten, die das meistens in ihrer Freizeit machen, verursacht. Und das deshalb ist das im Open Source Umfeld 'n Problem. Da manche Dinge sind besser geworden. Curl ist son Projekt, wo die Maintainer sehr aktiv sind, darüber zu sprechen, dass sie hat auch, sie hatten eine Zeit lang Zeit lang sonen son Bugbounty Programm und dann hat man natürlich auch noch 'n monetären Anreiz, da Dinge einzureichen und vielleicht kommt ja was bei raus und man kriegt Geld. Das haben sie abgeschafft, einfach weil das nicht mehr beherrschbar war, die Anzahl an mutmaßlichen Bugs, die reinkamen. Bei curl sieht man aber auch sone schöne Entwicklung über die Zeit. Mittlerweile sind die auch an dem Punkt, dass die sagen, für Security ist es zu finden. Es ist trotzdem 'n superwichtiges Werkzeug, wenn man's richtig verbindet. Und die haben auch viele echte Bugs mittlerweile auch schon gefixt in Covid AI. Aber sie sagen immer noch, dass es schwer zu unterscheiden ist, das echte von dem Falschen und dass insgesamt AI dazu tendiert, sehr verbos, Dinge zu beschreiben. Sprich, wenn ich's wirklich lesen will, bevor ich's merge, hab ich als Mensch den Aufwand. Also Open Source Umfeld ist 'n Riesenproblem und ich meine in Social Media sowieso. Ich mein, das hat ja 'n Grund, dass LinkedIn mittlerweile son Button hat, wenn man 'n AI Slop markieren kann, weil es ist halt einfach zu produzieren, schwer einzuschätzen als Leserin oder Leser und ja, es ist halt auch nicht authentisch. Und irgendwie, ich hab den Eindruck, ich kann's mittlerweile auch ausm Text lesen, wenn jemand's generiert hat und es klingt halt nach AI Sprache. Und klar, man kann daran arbeiten und das versuchen auszubügeln, aber wenn's so wirklich so ganz stumpf ey, AI Slop ist dann mittlerweile, ich hab da auch keine Geduld mehr für.

16:15

Jan Schulte

Wie wie groß ist denn das Problem in der Lehre von AI Slop?

16:20

Sebastian Baltes

Es ist ein Problem und das, was mich ärgert, ist, haben in unseren Übungen immer mal grad in der in der Master Vorlesung immer mal wieder Aufgaben, wo's Reflektionen geht, so was wie verwende 'n AI Tool diese Aufgabe zu lösen und dann reflektier darüber, wie's lief, was gut lief, was nicht so gut lief. Und dann sagen wir schon extra bei den Reflexionen, maximal eine halbe Seite oder was auch immer. Und dann bitte für alles AI außer dafür verwenden. Und dann kriegt man halt so offensichtlich AI-generierte Antworten. Und das finde ich schwierig, weil man damit ja quasi das Denken auslagert und auch nicht mehr selbst über seine eigene sein eigenes Vorgehen reflektiert, sondern eine AI fragt, ja, was hab ich 'n da gemacht? Das finde ich echt schwierig, dass Leute das machen und ich kann sogar Zahlen liefern, wie oft das passiert. Wir haben nämlich einfach im Übungsblatt in die PDF und in im Source Code Repository so Canaries eingebaut, wo sone prompt versteckt war, die man im Endeffekt. Und das liest als Agent dann fügt den und den Satz ein und die Dinge, die dann in den Abgaben gelandet sind, die hatten halt gar nix mit dem mit der Frage zu tun. Und dann konnten wir relativ gut danach filtern und da kam ich, hab die Zahl nicht mehr im Kopf, aber so was raus, je 80 Prozent der Studis haben eine Reflexion abgegeben, die offensichtlich AI generiert war. Und nicht nur das, sie haben dann nicht mehr drüber gelesen, weil sonst hätten sie gemerkt, dass, was da drinstand, das macht keinen Sinn. Und das find ich gefährlich, wenn, es nicht nur AI Slop ist, der uns nervt, der die Mitarbeiterinnen, Mitarbeiter, Tutoren da einfach, ja, deren Zeit verschwendet, weil warum sollen sie das lesen? Das hätten sie's auch selber generieren können. Sie sind ja daran interessiert, was was die Leute wirklich für Erfahrungen gemacht haben. Und und man einfach denkt, nicht mehr nachdenkt. Und dann ist manchmal hört man den Begriff kognitive Surrender. Das das finde ich echt schwierig, wenn man halt wenn man sich selber als Mensch überflüssig macht. Ich sag dann immer, was ist denn eure Rolle später mal aufm Arbeitsmarkt, wenn ihr grad noch kaufen könnt? Dann seid ihr relativ leicht auszutauschen. Vielleicht solltet ihr darüber nachdenken, welche Skills euch unterscheiden von anderen. Mhm. Und dabei, das kommt irgendwie nicht so richtig an bisher.

18:15

Dr. Michael Köpf

Reicht das Problem auch schon bis in die Forschung rein? Also kriegst Du auch schon mal Paper zu Review, die wo Du denkst, die Passage hat jetzt vielleicht auch eine KI geschrieben?

18:26

Sebastian Baltes

Ja, ja, 100 Prozent. Das ist ja viel. 100 Prozent. Das ist 'n Riesenproblem. Grad auf den ironischerweise auf den AI Konferenzen ist 'n Riesenproblem. Und und ja, ich bin auch Editor für 2 Journals und sie ist auch bei Konferenzen. Das viele Papiere, die wir reinbekommen, sieht man direkt an, dass da Teile AI-generiert sind, was ja an sich vielleicht noch kein Problem ist. Aber es gibt mittlerweile auch Paper, die zeigen, dass AI-generierter Text aufgrund der Muster, die da drin vorkommen, schwerer zu verstehen ist. Und und dann wird's 'n Problem, wenn ich als Leser noch nicht mehr versteh, was die von einem wollen, was was die Autoren von mir wollen. Und 'n anderer Punkt ist, dass viele, zumindest bei uns im Software Engineering, viele Konferenzen und Journals da ein bisschen konservativ sind, auch sozusagen zurückzuschlagen mit AI, weil für mich ist ein Punkt, was ich jetzt immer mach bei Papieren, wir haben 'n Mac Studio bei uns lokal, wo man auch lokalen Modelle betreiben kann. Das heißt, ich kann datenschutzkonform auch die Paper und Supplementary Material und alles überprüfen. Und da kommen immer Spannendes raus, wenn man sagt, hier ist 'n Paper, das eingereicht wurde, hier ist das GitHub Repository dazu, hier sind die Daten. Versucht doch mal nachzustellen, ob die Zahlen in dem Paper zu dem passen, was da in dem Material steht. Und dann kommt oft raus, dass das nicht zusammenpasst und Inkonsistenzen im Paper werden gefunden. Eine andere Sache, die ich immer gerne mach, ist 'nem zu sagen, schau dir die Referenzen an, guck erst mal, ob die existieren. Und zweitens, versuch dir die PDF zu besorgen und schau dann, ob die ob die Referenz überhaupt zu der Aussage passt, die in dem Paper steht. Und das sind alles Wege, wo man sozusagen dagegenhalten kann und AI auch im in der Begutachtung nutzen kann, ohne jetzt die Begutachtung komplett auszulagern an 'n AI Tool. Und da sind viele Konferenzen und Journals in meinen Augen viel zu langsam, weil man kann das auch als Chance sehen, dass man am Ende ja tatsächlich sogar Mehrwert schafft, indem man diese Überprüfbarkeit hat von den Artefakten und den Papern und eben nicht sagt, okay, ich hab dir eine PDF, das liest sich wie AIs, glaub ich, kann's aber nicht so richtig sagen. Es stört beim Lesen, aber Paper klingt okay. Wo man sich darauf verlassen musste vielleicht früher, dass Autorinnen und Autoren das okay gemacht haben und vielleicht auch niemand die Möglichkeit hatte, das alles im Detail zu überprüfen, kann ich das jetzt? Und ich find eine Lösung des AI Slops in der Forschung liegt auch darin, dass man vernünftig sozusagen diese Asymmetrie auflöst, indem wir auf der anderen Seite auch AI verwenden, aber nicht blind und die Begutachtung auslagern, sondern als Werkzeug.

20:48

Jan Schulte

Also würdest Du jetzt sagen, auch quasi, dass die, also es gibt ja auch so AI Detektoren, die das quasi rein auf textbasierte Varianten, auf den Text machen. Da gibt's ja immer auch wieder Kritik, dass die nicht richtig funktionieren und so weiter. Und Du gehst quasi einen Schritt weiter, dass Du sagst, okay, dass da jetzt der Text mit der AI geschrieben wurde, das davon geht man halt heutzutage aus.

21:14

Sebastian Baltes

Genau.

21:14

Jan Schulte

Aber man muss halt einfach einen Schritt weitergehen.

21:17

Sebastian Baltes

Korrekt, genau. Diese AI-Detektoren, also meine Erfahrungen sind die nicht sehr zuverlässig. 'N Student hat mir noch, glaub ich, letzte Woche geschrieben, es gibt 'n, also der beschäftigt sich mit Software Engineering in der in der Raumfahrt und der Begriff kommt ja tatsächlich aus der Zeit der Apollo Mission und die NASA hat ihn mitgeprägt in den Sechzigerjahren, wie auch immer. Er hat Paper von damals in in sonem Detektor reingeworfen, da kann man raus, ist eher ein Generiert. Und ja, also das, ich halt nicht viel davon und ich, es ist mir tatsächlich auch egal, ob jemand AI verwendet, wenn die Sprache wirklich besser wird dadurch, aber wenn's dadurch unlesbar wird, finde ich schwierig. Und das ist vielleicht 'n Problem, das unabhängig von AI ist. Entweder ich schreib 'n Papier in der Art, dass es verständlich ist, trotzdem kompakt oder halt nicht. Und was ich okay finde, ist halt über solche Watermarking Tenery Mechanismen jetzt in der in der Lehre insbesondere 'n bisschen dagegenzuhalten und gar nicht, Leute zu blamen, sondern zu sagen, hey, was soll das denn? Ihr sollt reflektieren, die in die richtige Richtung sozusagen zu lenken und gleichzeitig auch, die Substanz check überprüfbar zu machen und dafür AI zu verwenden. Das find ich viel wichtiger als allein zu sagen, dieser Text ist AI generiert, ja, nein. Da seh ich keinen sonen großen Mehrwert drin, das zu wissen oder nicht.

22:26

Dr. Michael Köpf

Kommt man denn überhaupt noch hinterher als Wissenschaftler in dem Bereich? Also ich erinner mich ja selbst, ich hab ja in der in der Physik ein bisschen geforscht ein paar Jahre, da hat man Paper teilweise ja, mal auch mal 'n halbes Jahr in Review gehabt, bis die irgendwann erschienen sind. Wenn ich jetzt 'n halbes Jahr beim aktuellen der der Industrie mir anschaue, ist das ja eine Welt. Also da da bring ich ja nachher was raus, was sozusagen die Welt von gestern beschreibt. Wie wie gehst Du denn damit oder wie wie sieht das aus deiner Sicht aus?

22:56

Sebastian Baltes

Ja, ist ein sehr, sehr guter Punkt und das ist tatsächlich 'n Problem, dass die Peer Review Prozesse eben die Zeit dauern. Wobei es da, wir haben ja schon kurz über arXiv gesprochen, viele Leute und viele Konferenzen, Journals das einfach erlauben, dass man sein Paper in der Begutachtung noch auf erstellt. Damit ist es dann sichtbar, kann zitiert werden, andere Leute können darauf aufbauen. Und gleichzeitig hab ich aber spätestens nach vielleicht 'nem halben Jahr, 'n Jahr, wie auch immer, eine Überprüfung und weiß, sonst ist erschienen. Und sozusagen ist das dann auch retrospektiv noch mal 'n Gütesiegel, weil ich hab auch selber mal zu 'nem Thema jetzt vor Kurzem eine Literaturrecherche AI-unterstützt gemacht und musste irgendwann aufgeben zu sagen, ich inkludiere alles, was ich auf finde, weil teilweise ich und auch die AI nicht verstanden haben, was die Papiere überhaupt aussagen. Die Tickets waren okay, aber Thema AI ist noch. Und da hat man doch krass gemerkt, wenn ich's einschränk darauf, es ist erschienen in 'nem A*, was auch immer, Software Engineering, Journal oder Konferenz, dann war die Qualität wirklich deutlich besser. Also das hab ich gesehen, hat aber den Nachteil, dass man natürlich son bisschen hinterherhinkt. Und ich glaub, es ist kein riesiges Problem, solange den Leuten bewusst sind, dass wenn sie das auf eurer arXiv sehen, was noch in der Begutachtung ist, kann das AI Slop sein, ja oder nein? Man muss sich dann halt vielleicht 'n bisschen Zeit selber investieren, das zu verstehen. Und gleichzeitig seh ich aber immer noch den Mehrwert, irgendwann dieses Gütesiegel zu haben, wenn 'n Paper to speer Review ging, dass der Stand dann auch okay ist. Und wenn man 'n Thema erforscht hat, was vielleicht nicht mit der nächsten Modellgeneration einfach verschwindet, dann wird man ja trotzdem noch zitiert und hat dann trotzdem dieses Gütesiegel und es ist halt so grundlegende Arbeit, die vielleicht auch in der Zukunft retrospektiv zitiert wird, weil sie eben Grundlagen geschaffen hat und Probleme sich angeschaut hat, die vielleicht 'n bisschen grundlegender sind als Dinge, die einfach direkt verschwinden. Wir haben zum Beispiel ein Papier geschrieben dazu, was es heißt, dass Menschen Vertrauen aufbauen in AI Assistenten oder nicht. Und wir haben son bisschen kritisiert, dass oft aus Richtung der Anbieter, der Modelle und Tools ausgegeben wird. Wir müssen Vertrauen in die Tools schaffen, damit die hochgeht. Und wir haben gesagt, das ist halt 'n bisschen gefährlich und Vertrauen ist 'n komplexes Konstrukt und vielleicht ist menschliches Vertrauen zu 'ner AI, das kann man auch diskutieren, ob das überhaupt sinnvoll ist oder nicht. Und wenn man's macht, wie andere Disziplinen das versuchen zu messen. Und son Paper, das ist natürlich, das wird nicht in 2 Jahren weggehen, weil Vertrauen, was ja Menschliches ist. Und vielleicht sind das die Themen, die wir uns genauer anschauen sollten, weil die halt das auch überleben und hoffentlich in 2 Jahren sich immer noch gut lesen. Also ist vielleicht auch an uns als Forscherinnen und Forscher gelegen, die richtigen Themen zu setzen und vielleicht das 'n bisschen anders zu denken, als es früher war.

25:32

Jan Schulte

Mich würd noch mal interessieren, und zwar Du Du lehrst ja empirische Software empirische Software Engineering. Wie können denn Unternehmen

25:59

Sebastian Baltes

vielleicht mal die 1. Empfehlung, mehr auf die eigenen Entwicklerinnen und Entwickler hören und und diese Entkopplung 'n bisschen auflösen von dem, was teilweise auf C-Level eben entschieden wird und was die Entwicklungsteams ausbaden müssen. Das, weil ich glaub, wenn, also es gibt auch Studien, die zeigen, dass zum Beispiel grad erfahrene Entwickler extrem viel profitieren von AI und vielleicht die Jüngeren weniger und so Dinge auch in der Diskussion zu berücksichtigen. Nicht nur zu sagen, hey, ich hab Leute in der Firma, die sind jetzt so viel produktiver, wie auch irgendwann das misst, mit AI, sondern auch 'n bisschen zu differenzieren und auch zu schauen, was sind denn meine zukünftigen Senior Developer und wie kann ich die unterstützen? Wie kann ich auch vielleicht an Unis treten und da zusammenarbeiten, das Problem zu lösen, das alle ja irgendwann haben werden, dass dass man irgendwie, wenn nur noch Expertbeginner hat, die nie wirklich die Expertise aufgebaut haben, die Tools für den Stift zu verwenden und da einfach 'n bisschen auch nach innen zu hören, weil ich weiß nicht, ob euch der Dunning-Kruger-Effekt was sagt. Ja. Das ist son Effekt aus der Psychologie. Bester Papiertitel, den ich kenn, Unskilled and Unaware of It. Und da gibt's auch viele Folgestudien, wo es darum geht, dass wenn man wenig weiß über 'n Thema, überschätzt man tendenziell seine eigene Kompetenz. Und ich glaub, das ist das, was wir sehen in Unternehmen momentan, dass viele Leute, die grad diesen Hype am meisten befeuern, glaub ich, recht entkoppelt sind, selbst innerhalb der Unternehmen von Entwicklungsabteilungen, die meistens 'n viel differenzierteres Bild haben, die sagen können, hierfür läuft's gut, hier haben uns irgendwelche jeweils zurechtgelegt, irgend eine AI Komponente in unseren Pipelines eingebaut und wir sehen 'n positiven Effekt und da klappt's vielleicht noch nicht. Und ich glaub, diese intern, diese Diskussion zu führen und die auch strukturiert zu führen, ob man das jetzt mit internen Umfragen macht, ob man gezielt intervert oder vielleicht auch Daten auswertet intern, sei mal, dahingestellt, die spezifische Methode, aber der Wille, vielleicht mit Daten, mit ja, Erfahrungen ausm eigenen Unternehmen Entscheidungen zu motivieren und zu treffen und die nicht einfach entkoppelt zu treffen. Ich glaub, das ist der wichtigste Punkt und ich mein, Unternehmen wollen dann immer gerne wissen, was sie denn vielleicht mit irgend 'nem Tool sparen oder wenn man jetzt diese Studien was sie dann wie sie dann effizienter werden können. Das ist halt superschwer zu quantifizieren. Ich seh nur, dass es im Moment entkoppelt ist und einfach kein Austausch stattfindet und damit vielleicht die auch die Businessentscheidung von den technischen Entscheidungen sich immer weiter entkoppeln, dadurch Frustration aus entsteht in den Entwicklungsabteilungen und das kann ja auch nicht gesund sein fürn Unternehmen. Und vielleicht kann man's von der Warte einfach motivieren, dass das nicht lange gut gehen kann, wenn man einfach über die Köpfe entdeckt dauernd entscheidet. Das war schon immer 'n Problem, aber ich glaub, das wurd jetzt noch mal beschleunigt.

28:31

Dr. Michael Köpf

Hätte ja gehalten. Genau, also da da wollt ich darauf hinaus, wenn Du sprichst ja aus Erfahrung, Du hast ja selbst, soweit ich weiß, mindestens zweieinhalb Jahre, glaub ich, bei SAP auch gearbeitet im im Bereich der Softwareentwicklung. Und für mich wär die Frage, also glaubst Du, das das wird passieren? Also glaubst Du, die die Unternehmen werden sich dahin sozusagen entwickeln, dass sie empirischer arbeiten werden.

28:58

Sebastian Baltes

Es hängt viel an den an den an den Leuten, die im Moment grade Entscheidungen treffen vor, also in 'nem Unternehmen, der größte SAP, das bohrt, aber eben auch die Ebene drunter und vielleicht auch 2 Ebenen drunter, die eben eingestellt sind. Da kann ich jetzt nicht über meinen ehemaligen Arbeitgeber kommentieren. Ich kann nur sagen, damals, als ich da war, hatten wir 'n CTO, der das wertgeschätzt hat, der uns auch Aufträge gegeben hat, sich Themen zu erschließen, sei es 'n Prototyp zu bauen, auch interne Studien zu machen. Wir haben intern Interviews geführt, Umfragen gemacht, Daten ausgewertet, Entscheidungen auf der Ebene zu unterstützen. Und das hat gut funktioniert, nur es hängt halt viel an Personen. Und wenn man jetzt 'n CTO hat oder 'n CEO oder was auch immer, der das nicht sieht und vielleicht, ich sag nur, dann den Kuga das vielleicht doch besser weiß, dann oder meint besser zu wissen, dann ist es natürlich schwierig. Und es hängt am Ende an Personen. Und es die Möglichkeit ist da und es gibt auch in fast jedem Unternehmen Leute, 'n Forschungshintergrund haben, die vielleicht probiert haben, sei es auch vielleicht in 'nem anderen Fach, die aber, auch wenn's Psychologen sind oder aus der Soziologie kommen oder was auch immer, die schon mal empirisch gearbeitet haben, die Ressourcen zu nutzen. Und das ist halt einfach nur der Wille, dass man sagt, das ist mir jetzt wichtig, dass wir für die Entscheidung das tun und dann klappt das auch. In großen Unternehmen hat man auf jeden Fall die Leute dafür, aber es muss halt einfach gewollt sein.

30:15

Dr. Michael Köpf

Ja. Und wenn wenn ich jetzt motivierte Führungskraft in einem solchen Unternehmen bin und ich glaube daran, was ist denn mein Startpunkt? Hast Du eine Empfehlung? Gibt's oder so was, mit dem man, an dem man sich orientieren könnte?

30:29

Sebastian Baltes

Es es gibt 'n paar so grundlegende Bücher zu Software Analytics oder einem Begriff Software Engineering. Software Analytics ist eher so der Begriff aus aus der Praxis, würd ich sagen. Der wurde auch bisschen von Microsoft und Microsoft Research geprägt, der Empirical Software Engineering, eher der akademischer Begriff. Aber da gibt's tatsächlich auch Bücher, Lehrbücher. Ich kann auch euch gerne 'n paar Links schicken, wenn da jemand interessiert ist, dann könnt ihr die irgendwie in die Notes Notes packen und dann kann sich das anschauen. Da gibt's also Ressourcen, die man sich anschauen kann. Und natürlich am besten landet das Thema dann am Ende bei Leuten, die vielleicht schon mal 'n Forschungspapier gelesen haben. Das muss jetzt keins ausm Software Engineering sein, aber generell die Struktur verstehen. Und son Papier sich anschauen mit dem mit der Idee, welche, wie kann ich die Methodik vielleicht intern verwenden, Dinge rauszufinden? Weil ich glaub, der Anspruch, dass ich Ergebnisse aus akademischen Papern wiederverwenden kann, das wird wahrscheinlich selten der Fall sein, weil der Kontext einfach nicht passt. Jedes Unternehmen ist da anders. Aber wofür Paper, die veröffentlicht und im besten Papier reviewed wurden, immer noch gut sind, ist zu verstehen, welche Methodik wurde angewandt und kann ich die unternehmensintern verwenden, 'n ähnliches Problem verstehen, zu erforschen. Dafür brauch ich halt die Kompetenz, die Paper lesen zu können und gleichzeitig auch das bei Ihnen intern das umzusetzen und dem zuzuhören. Und das in Verbindung mit all dem, was man so im Empirical Software Engineering macht, kann man sich aneignen, je nachdem, in welche Richtung man geht, ob man eher Data Mining macht. Dann guckt man sich vielleicht Data Science Bücher an, ob man eher qualitativ arbeitet mit Interviews, dann ist man vielleicht doch eher wieder bei der Psychologie. Da gibt's verschiedene Richtungen, die man das gestalten kann. Aber ich glaub, das Wichtige ist einfach, die Leute zu haben, die 'n Papier nehmen können, verstehen können, was der Kontext ist und sich zu überlegen, bringt mir das jetzt intern was? Kann ich die Methodik anwenden? Ich glaub, der Wert ist viel größer als das konkrete Ergebnis, weil das ähnlich den Unternehmenskontext widerspiegelt. Und darauf Entscheidungen zu treffen, ist Quatsch. Man braucht intern die Kompetenz, dass die Studien durchzuführen und dann die mit dem Ziel, Entscheidungen zu unterstützen intern.

32:22

Jan Schulte

Kommen wir noch mal zurück zur Lehre. Wie hat sich denn die Lehre jetzt im Laufe der Zeit verändert?

32:29

Sebastian Baltes

Ziemlich krass, also ziemlich stark. Grad jetzt auch die letzten 2 Jahre. Und ich mein, ich ich seh's daran, dass ich wie oft ich meine meine Materialien in der Software Engineering Vorlesung auch anpassen muss. Ich mein, man könnte auch sagen, ist mir egal, die Grundlagen sind die gleichen, aber das denk ich nicht. Ich hab versucht jetzt auch in der Einführung ins Software Engineering, sprich in der Bachelorveranstaltung, auch stärker zu verankern und dann aber immer, falls jetzt auch zu kontextualisieren und wir machen dann so was wie, es gibt diesen Blogpost, wo Anthropic über den AI Software Development Lifecycle gesprochen hat und wir wir kritisieren den dann auch gemeinsam und überlegen uns, okay, hält das 'ner Analyse stand, was die da schreiben und ist das wirklich alles so neu und was da alles erwartet wird und was denn jetzt eine AI macht. Kann das überhaupt funktionieren? Und und wo kommen denn die Anforderungen dann noch her? Und wie validier ich Dinge? Und kann ich dann wirklich das alles an der AI auslagern? Und an diesen Beispielen, die vielleicht auch aus der Lebensrealität von den Studis kommen, weil sie's eben auf Social Media sehen oder sonst wo lesen oder Anthropic selber verfolgen, uns da mitbekommen, das son bisschen den den Studis an dies die Mittel an die Hand zu geben, das auch zu zu reflektieren, Das ist der eine Punkt und dann aber gleichzeitig zu sagen, viele der Grundlagen haben sich gar nicht so viel geändert. Sie haben sie haben sich gewandelt in der Zeit, Automatisierung war immer Teil des Softwareengineerings. Code von Hand zu schreiben ist jetzt vielleicht nicht mehr das Wertvollste, was man als Studie machen kann, aber man hat trotzdem son bisschen Hanalal Problem, dass die Kompetenz, die man jetzt braucht, die Ergebnisse einschätzen zu können, sei es auch auf 'ner höheren Abstraktionsebene, dass ich vielleicht mit mit Summaries arbeite, die mir eine LLM gibt, aber an manchen Stellen dann noch son Diff-Seh des Codes und ich möcht das einschätzen können, muss ich ja doch den Code lesen können. Und wie kann ich den Code lesen, wenn ich nie von Hand geschrieben hab? Und ich hab keine Lösung dafür, wie viel man denn noch von Hand machen sollte und wann's dann okay ist, Dinge auszulagern. Aber ich will dafür, ich will die Studis motivieren, darüber nachzudenken, noch zu überlegen, wo fühlt man sich selber sicher und ist es vielleicht dieses kognitive, ist das vielleicht 'n Problem? Oder was sind denn die Kompetenzen, die ich selber überhaupt haben will als Studi? Und klar, so was wie Software Testing, da muss AI heute vorkommen, warum soll ich alle Testfälle von Hand schreiben? Gleichzeitig gibt's aber noch genug Themen, die vielleicht gar nicht weggehen. So was wie Software Architektur. Ich mein, die AI baut mir irgendwas, aber je mehr ich vorher vorgebe, vielleicht irgendwelche ADRs, so Architecture Decision Records, die ich bis spezifizieren, wie meine Architektur auszusehen hat, nehm ich wieder Freiheitsgrade weg der AI und lenkt die Entwicklung vielleicht in eine Richtung, die die erwartbarer ist am Ende. Und dafür muss man ja doch wieder verstehen, was ist denn eine hexagonale Architektur? Welche Arten gibt's denn eine API zu definieren? Wie kann ich Eingaben validieren und so weiter. Und da muss ich deutlich mehr, glaube ich, heute motivieren, warum das immer noch relevant ist und nicht nur sagen, weil das sind halt die Grundlagen, musst Du halt wissen, sondern zu motivieren, auch mit AI hilft's zu wissen, weil sonst kannst Du keinen vernünftigen Kontext liefern, damit die AI vernünftig arbeiten kann. Ob die Nachricht ankommt, kann ich nicht sagen, aber ich versuch's zumindest.

35:31

Dr. Michael Köpf

Ja, also ich stell mir auch persönlich immer die Frage, wie wie das Feld dann langfristig weitergeht, wenn man vielleicht auch 10, 20 Jahre in die Zukunft guckt. Also meine Perspektive ist, ich bin 'n Vater zweier Kinder, ja. Der mittlerweile so was, das nennen die offline Coding. Also ich würd mal sagen, so Grund Grundsätze oder oder der Grundlagen der des algorithmischen Denkens wird da den Kindern vermittelt. Ich weiß auch, früher hätt ich das total cool gefunden, also mega drüber gefreut. Jetzt hab ich irgendwie son bisschen die Frage im Kopf, ist das denn eigentlich überhaupt noch wichtig für Kinder, die das jetzt heutzutage lernen, die dann vielleicht in 15 bis 20 Jahren frühestens an den Arbeitsmarkt treten, ja. Ist das überhaupt noch relevant für die heutzutage?

36:21

Sebastian Baltes

Ich würde sagen, grade das, was Du beschrieben hast und vielleicht weniger die spezifischen Sprachen, mit denen sie dann irgendwann in Kontakt kommen, grad dieses algorithmische Denken interessant. Es gibt ja auch Studien, die zeigen, dass wenn ich in den Trainingsdaten von Sprachmodellen Code mit drin hab, dass dann auch die die Capabilities in anderen Bereichen besser werden in den... Also dass es vielleicht hilft, Code zu trainieren in dem AI, auch anderen Aufgaben besser zu sein. Und so glaub ich auch, dass es beim Mensch ist, wenn ich algorithmisches Denken lerne, kann ich das auch nicht nur beim Coding anwenden, sondern auch an anderen Stellen strukturiert zu denken, in Strukturen zu denken. Und ich mein, da sind wir auch irgendwann bei bei Mathe als Grundlage und das ist, glaub ich, immer noch eine Skill, ums neudeutsch zu sagen, die auch in 10 Jahren hoffentlich noch gebraucht wird. Aber dafür vielleicht andere Sachen nicht. Vielleicht muss man auch in der frühkindlichen Bildung dann Coding neu denken und diese Erziehung neu denken, aber da da bin ich jetzt kein Experte, kann ich mich nicht zu äußern. Aber ich glaub, wir haben in Deutschland eher das Problem, dass das fehlt, überhaupt fehlt. Und dann ist vielleicht besser, egal wie die Schule es macht, dass sie die Kinder damit konfrontiert. Und ja, mein Sohn ist in 'ner ist in auch in 'ner in der ersten Klasse jetzt und die haben auch, es ist zwar optional nachmittags, aber er ist auch in sonem Coding Club und, also ihm macht's Spaß. Er lernt irgendwelche Roboter da zu steuern und zu programmieren und ich glaub, er lernt auch eine gewisse Art dann dadrüber nachzudenken Und deshalb, das zumindest sehe ich nicht als Problem. Aber ich mein, er ist ja zum Glück in dem Alter muss er sich noch keine Gedanken machen, was der Job später ist. Und es, er muss nur flexibel im Kopf sein und die Denkmuster vielleicht anwenden können, die er jetzt mitnimmt mitnimmt in der Schule oder später, was auch, wie auch immer der Arbeitsmarkt dann aussieht in 'n paar Jahren.

38:00

Jan Schulte

Ja, wir kommen langsam ans Ende der Zeit. Letzte Frage an dich, was würdest Du Studenten heutzutage raten oder Schülern, die Informatik studieren wollen?,

38:15

Sebastian Baltes

das ist vielleicht 'n bisschen hart ausgedrückt, weil ich seh ja die Vorteile, die AI hat, aber einfach kritisch drüber nachzudenken. Ich glaub, das umso wichtiger ist, Dinge 'n bisschen zu filtern, egal wo sie herkommen, ob sie aus der Marketingabteilung von Anthropic oder ob's jetzt der neueste Reddit Post ist oder was auch immer. Einfach vielleicht manchmal 'n Schritt zurückzutreten, was zu lesen, vielleicht 'n Moment drüber nachzudenken und gerne auch mit AI vielleicht versuchen, die Grundlagen zu verstehen und welche Substanz denn da dran ist. Und dieses kritische Denken einfach mitzunehmen und das 'n bisschen zu filtern, was man hört, weil uns wird gesagt, dass Schülern an den Schulen mittlerweile auch gesagt hat, ihr müsst ja keine Informatik mehr studieren, das ist ja alles Quatsch und ist gelöst. Also auch bei Lehrerinnen und Lehrern scheint diese Nachricht anzukommen, wo wir dabei dann den Dunning-Kruger-Effekt sind, dass die vielleicht den Kindern dann auch Dinge mit aufn Weg geben, die schädlich sind und denen sagen, jetzt macht keine Informatik, weil das ist ja 'n gelöstes Problem, wenn's gar nicht so ist. Vielleicht sind's dann gar nicht nur die Schülerinnen und Schüler, sondern auch die Lehrkräfte, die vielleicht mal zweimal nachdenken sollten, wie sie mit Schülern kommunizieren. Und ja, dann ans kritische Denken eher zu appellieren, das ist das, was ich mir vielleicht auch von den Schulen wünschen würde. Und die Leuten im im Prinzip die Werkzeuge in die Hand zu geben, ist, man hat ja heute mit AI oder auch traditioneller Google Suche so viele Möglichkeiten, sich dem zu erschließen und vielleicht dann wirklich mal den Anreiz zu setzen, sich damit auseinanderzusetzen und zu verstehen, Software Engineering ist vielleicht anders als noch vor 'n paar Jahren, aber immer noch was, was es wert ist. Und vielleicht grade Software Engineering im Vergleich zu anderen Teilen der Informatik, sich da einzuarbeiten, reinzudenken und vielleicht auch eine Karriere als Möglichkeit zumindest zu erachten.

39:47

Dr. Michael Köpf

Ja, ganz herzlichen Dank, Sebastian. Wer mehr über dich und deine Arbeit erfahren will, hat, glaub ich, mit deiner Website 'n super Startpunkt. Die verlinken wir natürlich auch sehr gerne unter unserem Video. Und ja, wenn Du, liebe Zuhörerinnen und Zuhörer, nichts verpassen möchtest bei Token Therapie, dann abonnier uns doch auf YouTube und folge uns auf LinkedIn. Wir freuen uns auf die nächste Folge.

Alle Folgen im Protokoll