Zum Inhalt springen
token therapie

Sitzung 10

20. Oktober 2026 um 11:00 Uhr

Browser-KI so schnell wie llama.cpp?

Mit Nico Martin, Open Source Machine Learning Engineer, Hugging Face

Worum es geht

Shownotes

Kurz gesagt: In dieser Folge von Token-Therapie spricht Nico Martin, Open Source Machine Learning Engineer bei Hugging Face, über Machine Learning im Browser und seine Arbeit an der Library Transformers.js. Seine Kernaussage: Browser-KI lohnt sich vor allem für kleine Modelle mit genau einer Aufgabe, etwa Hintergrund entfernen, Sprache transkribieren oder Text Embeddings berechnen, weil niemand etwas installieren muss und die Daten auf dem Gerät bleiben. Mit eigenen WebGPU-Kernels ist sein Team bei stark optimierten Modellen gleich schnell wie llama.cpp oder schneller.

Das Wichtigste in Kürze

  • Transformers.js bringt die Python-Library Transformers von Hugging Face in den Browser, beschränkt auf Inference: Pre-Processing, Post-Processing und Generation Loop sind eingebaut.
  • Die häufigste Aufgabe mit Transformers.js sind Text Embeddings, die Grundlage für Similarity Search und Vektordatenbanken.
  • Ein Modell zum Entfernen des Hintergrunds ist in Nicos Beispiel 11 Megabyte groß und schafft im Kamerabild 10 bis 15 Bilder pro Sekunde.
  • Gegenüber Ollama oder llama.cpp ist die Einstiegshürde viel kleiner: Ein Link genügt, und das Modell läuft auf dem eigenen Gerät.
  • Den Overhead im Browser verursacht nicht WebGPU, sondern der generische Graph von Cross-Platform-Runtimes wie ONNX Runtime; eigene, verschmolzene Kernels (Fused Kernels) sind schneller.
  • Seine Demos für neue Modelle und Features baut Nico zu 100 % mit Agents; Code für die Library schreibt Nico selbst oder prüft ihn genau.
  • Statt eines KI-Start-ups würde Nico eher Beratung für KMUs wählen, weil dort noch viel Nachholbedarf besteht.

Wann ergibt KI im Browser Sinn?

Ein Machine-Learning-Modell besteht laut Nico Martin (Hugging Face) aus zwei Teilen: der Architektur, die beschreibt, welche Operationen pro Layer laufen, und den Weights, den gelernten Zahlen. Die Architektur ist klein, die Weights sind groß. Ein Modell mit 2 Milliarden Parametern bei einem Byte pro Weight bedeutet 2 Milliarden Bytes, die erst in den Browser geladen werden müssen.

Große Sprachmodelle laufen trotzdem im Browser. Das Team hat Demos mit Modellen von 27 Milliarden Parametern, etwa einem neuen Bonsai-Modell; GPT-OSS war eines der ersten großen Modelle, das funktionierte. Doch schon kleinere Sprachmodelle wie Gemma 4 mit 2 oder 4 Milliarden Parametern brauchen passende Hardware und eine gute Internetverbindung. Als Web-App für jeden mit einem Link taugen sie deshalb noch nicht.

Für den Einsatz in Production empfiehlt Nico kleine Modelle für ganz bestimmte Aufgaben:

  • Background Removal: erkennt die Person im Bild und trennt sie vom Hintergrund.
  • Speech Recognition: Transkriptionsmodelle, die laut Nico auf allen Plattformen in Echtzeit laufen.
  • Text Embeddings: wandeln einen Text in eine Zahlenreihe (Vektor), mit der sich die Ähnlichkeit zweier Sätze berechnen lässt.

Der Unterschied zu lokalen Werkzeugen wie Ollama oder llama.cpp liegt nicht im Datenschutz, denn beide laufen auf dem Gerät und offline. Ollama müssen Anwender aber installieren, meist über eine CLI. Im Browser genügt eine URL, die man an Freunde schickt. Damit können auch Menschen ohne technischen Hintergrund ein Modell oder einen Agent lokal ausführen.

Wie schnell ist WebGPU im Vergleich zu llama.cpp?

WebGPU ist die Browser-Schnittstelle zur Grafikkarte. Der Support ist laut Nico Martin sehr gut; unter Linux ist WebGPU nach seiner Erinnerung noch hinter einem Flag. Transformers.js nutzt derzeit die ONNX Runtime, eine vor allem von Microsoft gepflegte Runtime für das Modellformat ONNX (Open Neural Network Exchange). Sie bietet neben WebGPU auch ein CPU-Backend. Der Wechsel ist eine Zeile im Code, und ein Transkriptionsmodell läuft notfalls auch auf der CPU.

Vergleicht man einzelne Kernels, sind WebGPU und llama.cpp etwa gleich schnell. Bei den Modellen, die das Team stark optimiert hat, ist es gleich schnell wie llama.cpp oder schneller. Den großen Overhead bringen Cross-Platform-Runtimes wie ONNX Runtime mit: Sie schicken einen generischen Graph, der auf jeder Hardware funktionieren muss, und können Kernels daher nicht für eine Plattform verschmelzen. Wer nur auf WebGPU zielt, kann solche Fused Kernels bauen. Deshalb sind eigene WebGPU-Runtimes meist viel schneller als LiteRT oder ONNX Runtime.

Die härteste technische Nuss sind laut Nico die Kernels selbst. Das Team hat ein Framework veröffentlicht, das die WGSL-Shader (die Programmiersprache von WebGPU) passend zur Hardware des jeweiligen Clients zusammenbaut. Diese Kernels sind schon alle schneller als die der ONNX Runtime. Dazu kommt die User Experience: Große Modelle brauchen Zeit zum Laden, deshalb speichert Transformers.js sie im Browser Storage, wo sie auch nach dem Leeren des Caches bleiben.

Auf allen Geräten läuft dasselbe ONNX-Modell mit demselben Computation Graph und denselben Weights. Unterscheiden kann man die Precision: Nico nutzt meist 4-Bit-Quantisierung (Q4), bei kleinen Modellen, guter Hardware und guter Verbindung auch Full Precision (FP32).

Weil Agentic Engineering es inzwischen möglich macht, WebGPU-Runtimes für einzelne Modelle zu bauen, entstehen viele eigene Runtimes. Hugging Face prüft daher eine API, mit der Transformers.js neben ONNX Runtime auch andere Inference Engines nutzen kann, etwa LiteRT.js von Google.

Bauen Browser bald eigene Sprachmodelle ein?

Chrome experimentiert mit der Prompt API: Statt dass jede Webseite ein Modell herunterlädt, stellt der Browser oder später das Betriebssystem ein Sprachmodell bereit. Nico Martin sieht darin keine Konkurrenz. Hugging Face arbeitet eng mit dem Chrome-Team zusammen, zuletzt an Constrained Decoding mit Reasoning Tags und Tool Calls. Selbst wenn die Prompt API breit genutzt wird, braucht es weiter kleine, aufgabenspezifische Modelle, denn den ganzen Katalog an Aufgaben wird Chrome nie mitliefern.

Von den Experimenten profitiert auch Transformers.js, etwa von der Cross Origin Storage API. Heute ist der Browser Storage nach Origin getrennt, zum Schutz vor Fingerprinting: Ein Modell, das eine Webseite heruntergeladen hat, kann eine andere nicht nutzen. Mit der neuen API ließe sich ein heruntergeladenes Modell über mehrere Webseiten hinweg verwenden.

WebNN ist nach Nicos Kenntnis noch sehr experimentell. Statt einzelne Kernels zu schreiben, übergibt man dort einen ganzen Computation Graph, und das Betriebssystem findet den besten Weg. Das dürfte die Inference schneller machen, dauert aber noch; das Team holt deshalb erst das Maximum aus WebGPU heraus. WebMCP, eine Schnittstelle, über die Agents Werkzeuge einer Webseite nutzen, passt laut Nico eher zu lokalen Agents, die ins Web gehen. Läuft der Agent schon in der Webseite, kann man ihm die Tools auch direkt geben.

Wie programmiert ein Machine Learning Engineer bei Hugging Face mit KI?

Nico Martin programmiert fast ganz mit Agents. Vor einem Jahr begann er mit Claude Code und OpenCode für kleine Aufgaben; seitdem hat sich das stark verändert. Seine Arbeit teilt er in zwei Bereiche:

  • Demos: Für jedes neu unterstützte Modell und jedes neue Feature gibt es eine kleine Anwendung. Sie ist zu 100 % per Vibe Coding gebaut, dauert wenige Minuten und wird danach nur kurz nach Geschmack geprüft.
  • Library: Code für Transformers.js schreibt er selbst oder analysiert genau, was der Agent getan hat und ob es einfacher geht. Oft bespricht er dasselbe Problem in zwei getrennten Konversationen mit Agents.

Von Hand schreibt er nur noch Kleinigkeiten, kein ganzes Feature. Wichtiger als das Schreiben von Code ist für ihn das Gespräch über Code: mit der KI zu verstehen, warum ihre Lösung besser war als die eigene Idee.

Als Geschäftsidee würde Nico kein KI-Start-up gründen; den Markt hält er für überhitzt. Weil Code schreiben an Wert verloren hat, würde er eher auf Open Source setzen und in die Beratung für KMUs gehen. Er vergleicht die Lage mit dem Web Anfang der 90er-Jahre: Die Großen bauen schnell, kleinere Betriebe folgen mit 5 bis 10 Jahren Verzögerung.

Häufige Fragen

Was ist Transformers.js?

Transformers.js ist eine Open-Source-Library von Hugging Face, mit der Machine-Learning-Modelle direkt im Browser laufen. Ihre API folgt der Python-Library Transformers, beschränkt sich aber auf Inference und bringt die ganze Pipeline mit, vom Pre-Processing bis zum Post-Processing.

Welche KI-Modelle eignen sich für den Browser?

Vor allem kleine Modelle für eine bestimmte Aufgabe: Hintergrund entfernen, Sprache transkribieren, Text Embeddings berechnen. Sie laufen laut Nico Martin auf allen Plattformen schnell; große Sprachmodelle brauchen dagegen gute Hardware und eine schnelle Verbindung.

Was ist der Unterschied zwischen KI im Browser und Ollama?

Beides läuft lokal und offline. Ollama oder llama.cpp muss man installieren; im Browser genügt ein Link, sodass auch Menschen ohne technischen Hintergrund ein Modell auf ihrem Gerät nutzen können.

Ist KI mit WebGPU langsamer als llama.cpp?

Nicht grundsätzlich. Bei stark optimierten Modellen ist Transformers.js mit eigenen WebGPU-Kernels gleich schnell wie llama.cpp oder schneller; Overhead entsteht vor allem durch generische Cross-Platform-Runtimes wie ONNX Runtime.

Wie schützt man private Daten, wenn man Cloud-KI nutzt?

Nico Martin baut für die Thunderbird-Erweiterung ThunderAI einen Privacy-Filter: Ein kleines Modell in Transformers.js ersetzt Namen, E-Mail-Adressen und Anschriften durch Platzhalter, bevor eine E-Mail in die Cloud geht. Die Antwort kommt mit Platzhaltern zurück, die lokal wieder ersetzt werden.

Wie steigt man in WebML ein?

Nico Martin rät, WebML nicht um seiner selbst willen zu nutzen. Erst die Probleme der eigenen Anwendung ansehen, dann entscheiden, welche Teile im Browser laufen sollen und welche besser in der Cloud bleiben.

Links

Direkt zum Thema

Kapitel

  1. 00:00Begrüßung und Vorstellung von Nico MartinTranskript
  2. 01:04Wie man bei Hugging Face landetTranskript
  3. 04:01Was ist Transformers.js?Transkript
  4. 06:46Wann KI im Browser Sinn ergibtTranskript
  5. 12:15Browser oder Ollama: der UnterschiedTranskript
  6. 13:52WebGPU-Support und ONNX RuntimeTranskript
  7. 16:37Die härteste Nuss: eigene WebGPU-KernelsTranskript
  8. 19:43Dasselbe Modell auf jedem Gerät?Transkript
  9. 21:48Overhead im Vergleich zu llama.cppTranskript
  10. 24:26Eigene Runtimes statt ONNX Runtime?Transkript
  11. 26:40Bauen Browser bald eigene Modelle ein?Transkript
  12. 30:04Was ist mit WebNN?Transkript
  13. 31:59WebMCP und Browser-KITranskript
  14. 33:35Kleine Modelle in Chrome-ExtensionsTranskript
  15. 35:30Wie Nico agentisch programmiertTranskript
  16. 38:00Was er noch von Hand schreibtTranskript
  17. 38:56Produktideen für Browser-KITranskript
  18. 42:33Tipp für den Einstieg in WebMLTranskript

Nachlesen

Transkript

Transkript anzeigen

00:00

Jan Schulte

Willkommen bei Token Therapie, dem Podcast für AI Engineering Leader. Mein Name ist Jan und mit dabei wie immer Michael. Hallo Michael.

00:08

Dr. Michael Köpf

Hallo allerseits.

00:10

Jan Schulte

Unser heutiger Gast ist Nico Martin, Open Source Machine Learning Engineer bei Hugging Face. Hallo Nico.

00:18

Nico Martin

Hallo. Hallo Jan. Hallo Michael. Hallo zusammen.

00:22

Jan Schulte

Ähm Nico, vielleicht kannst du dich ganz kurz vorstellen und ein bisschen erzählen, was du so machst. Mhm.

00:29

Nico Martin

Ja, eben. Ich bin der Nico. Ich wohne in der Schweiz äh in Thun, also direkt im Torte zu den Alpen. Äh ich arbeite bei Hugging Face als Open Machine Learning Engineer, sprich vor allem im Web AI Team. Wir haben eine Library, an der ich hauptsächlich arbeite, ist das Transformers JS, aber wir machen neben Transformers JS probieren wir eigentlich alles aus, was irgendwie äh AI Inference oder Machine Learning Inference im Web äh schneller macht und einfacher zu nutzen für Webentwickler innen.

01:04

Dr. Michael Köpf

Ja, sehr spannend. Also ähm du bist die erste Person tatsächlich von Hugging Face, mit der ich der ich persönlich spreche. Ähm mich würd mal wirklich interessieren, wie du wie du dahinekommen bist. Also Hugging Face vielleicht für alle, die die zuhören, ist ja eine der heißesten Firmen im KI Bereich. Ich habe mal gehört ähm dass ihr knapp da 100.000 Bewerbungen im Jahr bekommt. Ähm wie wird man einer von diesen ähm also der dann ausgewählt wird aus dieser großen Gruppe? Das wird uns natürlich alle sehr interessieren. Erzähl doch mal.

01:37

Nico Martin

Okay, das wusste ich nicht. Das ist [gelächter] das ist viel. Aber bei mir war es äh ziemlich dynamisch, weil ich habe halt, also ich habe lange Zeit als Freelancer gearbeitet, war selbstständig und habe neben meinen äh Mandaten, die ich hatte, immer wieder in der Webcommunity Projekte gemacht. Also, ich habe äh früher viel mit Progressive Webs gearbeitet, war in diesem ganzen ähm Google Developer Experts Programm relativ früh drin und habe eigentlich halt immer geguckt, was ist möglich im Web, was gibt's für Anwendungsfälle, die vielleicht so die klassischen Webapplikationen äh ähm übersteigen und bin dann vor 3 Jahren auf dieses ganze Thema WebML gekommen, also dass Machine Learning Modelle im Browser ausgeführt werden können. und habe dann angefangen in der Richtung viel Demos zu bauen, auf Konferenzen Talks dazu gegeben und habe dann unter anderem auch ein Joshua kennengelernt, der Transformers JS gegründet hat. Er ist dann zu Hugging Face gegangen, sprich Hugging Face hat das ganze Projekt ähm übernommen und ihn dann fulltime angestellt, um äh dort zu arbeiten. Und ich hatte mich dann schon vor zwei Jahren schon mal beworben bei Hugging Face äh auf eine normale Infra Infrastruktur äh Stelle. Hab den Job dann nicht bekommen, aber bin dann ein halbes Jahr später ähm noch mal über den Recruiter angefragt worden, hey, dass eben in diesem Web AI Team eine Stelle aufgeht, ob ich nicht Lust hätte, mich da zu bewerben und bin dann aber ganz klassisch den Bewerbung Bewerbungsprozess gegangen, weil es nicht ewig, also es war zwei, drei Interviews und einen Take Assessment und habe dann die Zusage bekommen. Aber ich glaube, vieles passiert oder bei mir war es hauptsächlich, weil ich halt in der Community aktiv äh war, weil ich halt schon auf Konferenzen war, weil ich äh Content produziert habe und solche Sachen. Ich denke, das war jetzt für mich wichtig für die für die Stelle. Ähm, aber ich denke jetzt auch, wir haben auch bei Hugging Face ganz viele Engineers, die überhaupt nicht ähm äh public sind, sondern die einfach einen guten Job machen. Also, es ist nicht der einzige Weg natürlich, aber für mich war sicher der Weg über die Community.

04:01

Jan Schulte

Ja, cool. Ähm, du hast ja gerade schon gesagt, äh, dass quasi so das Hauptprojekt, wo du mitarbeitest und wie du auch reingekommen bist, Transformers JS ist. Ähm vielleicht kannst du uns da ein bisschen mehr drüber erzählen. Was ist das? Was ist das für eine Library? Ähm und wie funktioniert die? Mhm. [schnauben]

04:20

Nico Martin

Also, die Ausgangslage war, dass es äh eigentlich immer noch die bekannteste oder die die äh meist verwendete Library, Open Source Library von Hugging Face ist Transformers und das ist eine Python Python Library, mit der man Machine Learning Modelle ausführen kann, Inference ausführen kann, aber auch Trainings und eigentlich um diese Transformers Library ist ein ganzes Ökosystem gewachsen an Standards, die sich etabliert haben durch die Library und alles mögliche [schnauben] Und Joshua hat dann, ich glaub das war noch im Studium, hat er angefangen sich damit auseinanderzusetzen, wie man den Machine Learning Modelle im Browser ausführen kann. Und als er so diesen technischen Aspekt gelöst hatte, war die Frage, wie man denn das Ganze in der Library packen würde packen könnte, die einfach zu bedienen ist. Und da hat er sich dann dem bedient, was schon da ist, sprich Transformers und hat sich halt die Schnittstellen angeguckt, die ähm für ihn auch äh wichtig sind, also die ganze Inference Part. Und ähm deswegen hat er dann auch die Library Transformers JS genannt. Wir versuchen die API so nah wie möglich an Transformers zu halten, aber nicht ausschließlich, weil wir uns erstens nur auf den Inference Part ähm äh fokussieren. Also nicht der g der ganze Trainingspart, der ist für uns nicht so relevant und ähm dann gibt's halt auch sprachspezifische v Plattform spezifische Unterschiede, wo wir dann natürlich abweichen von wie sie es in Python gelöst haben. Aber die Idee ist eigentlich, dass man eine Library hat, der man ähm mit der man eine Pipeline bauen kann, weil AI Inference ist ja nicht nur die klassische Inference, wo ich Zahlen reingebe und Zahlen rausbekomme, sondern damit das einfach zu nutzen ist, brauchst ein Pre Processing, brauchst ein Post Processing, brauchst einen Generation Loop bei Large Language Modellen z.B. Und das sind alles Sachen, die wir eigentlich in diese äh Library dann äh eingebaut haben, dass ich als Anwender nur noch einen Audiostream reingeben muss und dann eine Prediction bekommen, ob das jetzt Sprache ist oder ob das Background Noise ist oder ich ein Bild reingeben kann und dann äh eine Depth Map bekomme, wo welche Elemente in dem Bild wie tief oder wie weit weg von der Kamera sind, solche Sachen. Also die ganze Pipeline rund um die Inference ist dann eigentlich Transformers JS. Ähm

06:46

Jan Schulte

ja ähm du hast ja schon eine ganze Reihe an anderen äh äh Modelltypen genannt, ne? Also was natürlich worüber alle sprechen, sind immer die Large Language Models. Ähm aber du hast jetzt auch quasi schon irgendwie Videomodelle und so weiter genannt. Ähm was was wäre jetzt denn dein Pitch für KI im Browser, ne? Weil Browser AI läuft natürlich lokal dann im Endeffekt auf dem Rechner. Ähm ist natürlich nicht so mächtig wie wenn ich jetzt irgendwie ein großes Daten im äh habe mit tausenden von GPUs und so. [räuspern] Ähm was wäre jetzt quasi dein Pitch wo KI besonders Sinn macht und wo also KI im Browser und wo KI im Browser vielleicht eher weniger Sinn macht? Mhm.

07:29

Nico Martin

Ich glaube, ich würde erstmal ein bisschen ausholen, was oder aus welchen Gründen anderes oder gewisse Tasks weniger Sinn machen. Und zwar ähm ein Modell, ein Machine Learning Modell ist ja eigentlich die Architektur, die beschreibt, welche ähm welche Operationen pro Layer ausgeführt werden. Und das ist relativ klein. Das ist das ist einfach bisschen bisschen Software, bisschen äh Beschreibung von diesem Modell. Dann haben wir aber die Weights und das sind diese kleinen äh die die Zahlen im Endeffekt, die kleinen äh Faktoren, diese die in diese Berechnungen reingehen und da reden wir je nach Modellgröße von Millionen, Milliarden, Billionen von diesen Zahlen und die müssen halt irgendwo äh gespeichert werden und ähm in der Regel oder wenn wir jetzt sagen, wir haben einen 2 Milliarden Parametermodell, 2 Millionen Weight Die speichern wir als als ein Byte pro Weight, also 8 Bits pro Weight. Reden wir plötzlich von 2 Milliarden Bytes, die gespeichert werden und es ist einfach extrem viel Daten, die wir irgendwo dann in den Browser Browser reinkriegen müssen, weil der ganze USP ist halt, dass das Modell bei uns lokal läuft. Das heißt, wir schicken nicht den Input in die Cloud, sondern wir holen uns einmalig das Modell aus einer Cloud irgendwo auf unseren Rechner und dann läuft es dort. Heißt also, je kleineres Modell, desto einfacher ist es, das runterzuladen bei uns äh zum Laufen zu bringen und auch desto schneller läuft die Inference im Endeffekt. Es ist nicht, man kann es nicht sagen, dass je kleineres Modell, desto schneller. sind mehrere Faktoren, die da eine Rolle spielen, aber grundsätzlich kann man schon sagen, je größeres Modell, desto mehr Processing Power brauchen wir auch und desto ähm desto bessere Hardware brauchen wir. Um jetzt zum Punkt zurückzukommen, ähm man kann natürlich, also wir haben Demos, wo wir 27 Milliarden Parameter Large Language Modelle im Browser laufen lassen können. GPT-OSS war eins von den ersten großen, was funktioniert, aber jetzt vor kurzem ist gerade ein neues Bonsai Modell rausgekommen mit 27 Milliarden Parametern und das funktioniert. Das kann man im Browser je nach Device laufen lassen. Aber schon kleinere Large Language Modelle wie wie jetzt ein Gemma 4 mit 2 Milliarden Parametern oder 4 Milliarden Parametern oder auch einen ein Milliarden Parametermodell hat bringt halt verschiedene Herausforderungen mit sich. Heißt funktioniert gut, wenn man die entsprechende Hardware hat und auch die die entsprechende Internetverbindung, aber ist jetzt nicht was ich einfach so als Webapp rausschicken kann und dann erwarten kann, dass jeder, der den die URL hat, äh plötzlich damit ähm arbeiten kann. Deswegen ähm würde ich mich da eher auf kleinere Modelle fokussieren, die halt ganz spezifische Probleme lösen. Z.B. ähm äh Background Removal. Das ist sowas, das ist ein Modell, das bekommt ein Bild. In dem Bild findet's raus, okay, das ist die Person, das ist der Foreground, alles hinten dran ist der Background und jetzt kann ich die Person ausschneiden, kann Text dazwischen legen, kann äh oder einfach transparenten Hintergrund legen. Und das ist ein Modell. Äh, das ist, glaube ich, äh, was ich habe in einem Talk habe ich ein Beispiel, das ist dann äh 11 Megabyte groß. ist jetzt nichts, aber das kann man runterladen und funktioniert eigentlich mit 10, 12, 15 Frames pro Sekunde, wenn ich das wirklich einfach in dem Kamerafeed einbauen würde. Das funktioniert, kann man sagen, Cross Platform. Dann gibt's ähm Speech Recognition, also Transcription Modelle, die einfach einen Audio äh Feed bekommen oder ein Audio äh Datei bekommen und dann daraus den Text extrahieren. Funktioniert auch Crossplattform in Realtime überall. Also es sind eigentlich diese ganzen kleinen Modelle, die überall ziemlich performant funktionieren und ich würde jetzt mein Fokus in Production würde ich eher auf genau die Sachen legen. [räuspern] Oder noch ein Beispiel, Entschuldigung, weil das ist der Task, der lustigerweise am aller häufigsten mit Transformers JS verwendet wird. Das sind Text embeddings, also dass ich einen Text bekomme und den Text dann in ein in ein Array von Nummern konvertiere und das repräsentiert dann eigentlich die Position von diesem Text in diesem multidimensionalen Vector Space. Heißt, ich kann dann die ähm Similarity von zwei Sätzen berechnen, was dann die Grundlage ist für ähm einen eine Vektordatenbank oder Similarity Search oder die ganzen Geschichten und das funktioniert auch mega schnell. Browser. Ähm

12:16

Dr. Michael Köpf

viele der Dinge, die du genannt hast, die klangen jetzt für mich erstmal vor allem so, dass man sozusagen den Vorteil hat, dass man es lokal laufen lässt. Ähm kannst du noch mal die Abgrenzung äh vielleicht ein bisschen klarer machen zu z.B. dem Case, dass ich jetzt einfach via Ollama sowas bei mir ein Modell lokal auf dem Rechner habe, was sozusagen der Vorteil davon ist im im Browser zu haben.

12:38

Nico Martin

Guter Punkt. Ähm, klar, beides ist on device, sprich beides funktioniert offline, Privacy Bedenken und die ganzen Geschichten. Äh, der Unterschied zwischen einem Ollama llama.cpp ist, dass wenn ich mein Modell über Ollama oder llama.cpp schippen möchte, brauchen die Anwenderen das dieses die Software auf ihrem Gerät spricht, es sind in der Regel Leute, die sich damit auskennen, die haben das über eine CLI oder irgendwo installiert und die möchten effektiv einen eigenen LLM Server oder was auch immer auf ihrem Gerät laufen lassen und können dann ihren Agent ähm an dieses lokale an in diesen lokalen Server binden. Der Browser hat aber eine viel kleinere Eintrittshürde. Über ein Browser kann ich ein Modell schicken äh schippen und habe dann eine URL, die schicke ich meinen Freunden, Freundinnen und die können einfach drauf klicken, einem Button klicken und dann läuft's bei denen. Das heißt, es ist auch für Leute, die jetzt nicht so tech sind, wie wir das jetzt sind, ist es möglich ein LLM lokal oder ein Agent innerhalb von dieser Anwendung dann lokal auszuführen oder halt auch ganz kleinere Machine learning Tasks. Ähm,

13:51

Jan Schulte

darauf will ich noch mal so ein bisschen eingehen. Also, du hast jetzt gesagt, ne, ähm du kannst es quasi jedem schicken und dann kann das im Browser öffnen und unter der Haube funktioniert das ja heutzutage eigentlich fast dann immer mit WebGPU ähm sofern ich das äh richtig im Kopf habe. Und die Frage ist natürlich dann so ein bisschen ähm wie wird das heute unterstützt, weil es gab ja lange Zeit lang, dass das irgendwie nur auf latest äh Chrome Version äh unterstützt war und dann auch nicht auf allen Devices und ähm funktioniert. Also, das ist immer so ähm für mich auch immer so die Frage auf Mac ist das natürlich immer ganz gut, weil die dann natürlich, also auf modern Mac, die haben natürlich das ähm die MPS ähm ne, also die die wie heißen? Metal Performance Shaders, glaube ich, ne? Also die äh das kannst du natürlich besser sagen. Ähm aber die Frage ist, wie funktioniert das beispielsweise jetzt auch auf auch auf dem Standard Windows Rechner? Also, kann ich das jetzt, wenn ich das jetzt jemand schick, der nur ein Windows Rechner hat, äh mit einem vielleicht aktuellen Chrome oder ähm Edge, ähm würde das dann trotzdem funktionieren? Wie stehen wir da aktuell? [schnauben]

15:02

Nico Martin

Also WebGPU Support ist eigentlich sehr gut. Ähm zurzeit der einzige, glaube ich, Haken ist im Moment noch Linux, wenn ich mich richtig erinnere. Da ist es, glaube ich, immer noch behind the flag. So, jetzt ist aber auch noch so, dass man für ML Inference im Web nicht unbedingt zwangsläufig WebGPU. Was wir nutzen innerhalb von Transformers JS im Moment ist die ONNX Runtime und ONNX ist der Open Neural Network Exchange Exchange Standard und ist Modellformat, was das Modell beschreibt und die Weights mit reinpackt und die ONNX Runtime, die wird von Microsoft vor allem maintained. Das ist eine Runtime, die dann diese ONNX Modelle leas und die Inference ausführt. ONNX Runtime Web gibt's nicht nur für WebGPU, sondern gibt's auch für CPU, für CUDA, für alle möglichen Backends. Heißt also ich kann mit Transformers JS auswählen, möchte ich Web GPU verwenden oder möchte ich ein Fallback of CPU einbauen. Das sind alles Sachen, die ich eigentlich mit einer äh mit einer Zeile im Code definieren kann, wo es laufen soll. Klar, WebGPU ist für die allermeisten Fälle ist es ist es performanter. Wenn es aber nicht möglich ist, kann man eine Transcription Modell auch auf dem CPU laufen lassen. Das funktioniert. Und weil wir halt mit der ONNX dieses diese verschiedenen Backends Devices unterstützen, ist es eigentlich nur eine Zeile, die ich dich ändern muss. Hm. [räuspern] Ja,

16:35

Dr. Michael Köpf

also grundsätzlich ähm also ich verstehe, dass es eine ganz unterschiedliche Welt ist, das im im Browser zu machen. Ähm was ist denn aus deiner Sicht jetzt als als Insider da praktisch die äh härteste technische Nuss gewesen, die du da zu knacken hattest, um das überhaupt portieren zu können? Ähm,

16:56

Nico Martin

also das Schöne ist, die meisten Nüsse musste nicht ich knacken. Der hat entweder Trush war geknackt, als er gebaut hatte oder ONNX Runtime. Also die ganze, man muss sich so vorstellen, ONNX beschreibt ja einfach diesen Computation Graph und dann innerhalb von dem hast du diese verschiedenen diese verschiedenen kleine Operationen und ONNX hat halt für jede Operation einen eigenen Kernel gebaut für die jeweilige Hardware auf der es dann laufen soll. Also WebGPU Kernels, CUDA Kernels, alle möglichen Arten von Kernels und je nachdem welches Back ich verwende, wird dann halt der eine oder der andere reingeladen. Also wir haben mit dem gar nicht so viel zu tun. So. Ähm die härteste Nuss ist halt immer noch, dass man irgendwie einen gutes äh eine gute User Experience bauen muss. Ähm damit klar wird, da wir reden von dem, wie groß ist das Modell, es kann eine Zeit dauern. ähm äh Caching ist das was wir in Transformers JS machen. Also das heißt die Modelle, die schon mal runtergeladen wurden, die bleiben im Browser Cache, die werden nicht oder nicht im Browser Cache, sondern im ähm Browser Storage spricht, die bleiben auch, wenn ich den Cache leere, bleiben die äh bleiben die vorhanden. Ähm das sind die Sachen und wo wir jetzt dran sind, aber das sind wir noch ziemlich early ist oder nee, das stimmt gar nicht. Wir haben die Kernels haben wir schon gelaunchted. Das heißt, was wir machen wollen, ist diese ganzen äh Kernels, die im Moment in ONNX geschippt werden, aber auch in verschiedenen anderen Cross Platform Frameworks, dass wir die bestop optimiertesten WebGPU Kernels rausbringen, die es überhaupt gibt und zwar auf jeder Hardware, weil man sich also ist klar, äh der Web läuft oder der Browser läuft auf jeder erdenklicher Hardware Und deswegen gibt's auch ganz viele verschiedene Typen von GPU, die über die WebGPU exposed werden und je nach Konfiguration, je nach Einstellung sind halt gewisse Kernels schneller oder langsamer auf der auf der spezifischen Hardware. Und deswegen haben wir jetzt ein Framework released, was ähm sich die effektiven äh WGSL Shader zusammenbaut, basierend auf dem Client, auf dem es im Moment gerade läuft. Und es ist so gerade würde jetzt sagen technisch die härteste Nuss, die wir jetzt gerade noch am knacken sind. Wir sind schon mega weit. Also unsere Kernels sind alle schneller als jetzt bei ähm bei ONNX Runtime z.B., Aber sind sicher noch nicht am Ende. Das ist ein mega spannendes Projekt.

19:43

Dr. Michael Köpf

Also, ich habe noch ein bisschen Schwierigkeiten, ehrlich gesagt, mir das vorzustellen, weil das ja eine riesen Unbekannte eigentlich ist, also welches welchen Device jetzt der Nutzer verwendet. Ja, und das Problem hatte man immer schon, wenn man Webseiten oder sowas gebaut hat, aber dann war das ja häufig so ein Darstellungsproblem vor allem. Ähm, aber bei euch wäre es ja jetzt so, also es muss ja irgendwie, also läuft dann wirklich dasselbe Modell, wenn ich jetzt ähm auf meinem iPhone unterwegs bin oder auf meinem äh High-End Laptop z.B., also oder wählt man dann sogar dynamisch ein passendes Modell äh für den entsprechenden äh Device dann aus? Wie wie funktioniert das?

20:21

Nico Martin

Nee, es läuft schon. Es dasselbe Modell, also das Modell würde ich wieder unterscheiden, was ist die Architektur und was sind die Weights. Ähm, du kannst natürlich dasselbe Modell nehmen, die Weights Fine Tune und dann hast du eigentlich ein Modell, was zwar ähm die gleichen gleichen Computation Graph hat, aber halt mit anderen Variablen. Sprich, der Output ist ein bisschen anders. So, aber wenn ich jetzt einmal nehme es Gemma Gemma 4 E2B, das ist was ich eigentlich meistens das LLM verwende, das läuft exakt dasselbe oder nicht dasselbe, das exakt das gleiche Modell läuft dann auf meinem ähm Mac oder auf meinem Windows oder wo auch immer. Also es heißt genau das gleiche ONNX Modell, der gleiche Computation Graph, die gleichen Weights laufen [räuspern] auf dem was ich natürlich unterscheiden kann, ist äh welche Precision ich verwende. für mich in der Regel nämlich ähm vier Bit Quantization, aber ich könnte jetzt auch sagen bei einem kleineren Modell bei einer bei bei einer guten Internetverbindung mit guter Hardware nämlich die Full Precision FP32. Das heißt, ich habe einfach meine Weights werden größer, präziser, meine Predictions werden besser und auf schlechtere Hardware verwende ich halt Q4. Ähm und dann ist es nicht mehr das gleiche Modell, aber grundsätzlich, wenn ich die gleiche Konfiguration nehme, Web GPU und Q4, ist es genau das gleiche Modell, was auf allen Devices läuft.

21:48

Jan Schulte

Mich wird noch mal interessieren, äh bei Web GPU ähm Webgstraktion on top auf über das äh das, was halt quasi das Device quasi anbietet oder das Operating System, ne? Ähm, wie hoch ist da der Overhead im Vergleich zu, wenn ich jetzt wirklich so ein äh llama.cpp oder so lokal laufen lasse, [schnauben] also Browser. Genau.

22:16

Nico Martin

Ja, was die einzelnen Computations angeht, nicht sehr. Also, wenn ich einfach nur Kernels für Kernels vergleiche, sind wir relativ gleich. Wir haben, wir sind auch soweit, dass wir äh gewisse Larage Modelle ähm haben wir verglichen mit unserer jetzt unseren WebGPU Kernels und auch ein bisschen mehr Experimental anden Runtime Geschichten äh in WebGPU. Und da sind wir bei jetzt nicht bei allen, aber bei den Modellen, die wir richtig hart optimiert haben, sind wir gleich oder sogar schneller als llama.cpp. Und das ist ziemlich ziemlich cool. Ähm von dem her kann man nicht sagen, dass Web GPU generell ein Overhead hat. Was aber einen großen Overhead mitbringt, ist ähm ONNX, aber nicht, weil es ONNX ist, sondern alle Cross Platform Runtimes, weil die ähm die schippen halt einen sehr generischen Operation Graph. Heißt äh der gleiche Graf auf ähm auf alle auf jeder möglicher Hardware funktionieren. möchten oder das Ziel ist ja bei einem ONNX File, dass du nur die die Definition schickst und den Graph mitschickst, aber du dann zurückgreifst auf die Kernels, die in der entsprechenden Device Frontime dann vorhanden sind. Deswegen können sie nicht spezifisch Kernels optimieren oder vor allem Kernels zusammenführen. So und was du halt dann machen kannst, ist, wenn du sagst, wir gehen jetzt nur auf Web GPU, ist, dass du sagst, okay, wir haben jetzt hier einen ein Set von Kernels, die man gut fusen könnte, sogenannte Fused Kernels. Das kann man dann machen, weil ich weiß, ich habe in WebGPU genau die Möglichkeiten und das wird funktionieren. Und ich muss mich nicht drum kümmern, wie würde es denn auf dem CUDA funktionieren. Das mir ist mir dann eigentlich egal. Das ist dann wieder abstrahed durch ähm WebGPU.

24:12

Jan Schulte

Und

24:13

Nico Martin

dieser generische Graph overhead, der ist relativ groß und deswegen sind auch äh so Custom Web GPU Runtimes in der Regel viel schneller als einen LiteRT oder einen ONNX Runtime.

24:26

Jan Schulte

Ist das was ihr was was ihr euch auch anschaut, wo ihr sagt, das könnte irgendwie für keine Ahnung, ihr seid glaube ich aktuell auf Version 4, ne? ähm, dass das was für Version 5 ist oder so, dass ihr gar nicht mehr quasi auf ONNX Runtime geht, sondern quasi euren eigenen eure eigenen Engine baut.

24:45

Nico Martin

Jain, also wir sind weiß es gar nicht, es ist schon immer was, ich meine ONNX Runtime hat der Treasure damals genommen und es war war auch eine die richtige Entscheidung, weil es ist mega performante Runtime Cross Device ähm weil es halt vorhanden war, einfach einzubauen war und funktioniert. war aber immer schon auch die Idee oder der Wunsch, dass man Transformers JS, also das ganze Precessing ähm verwenden könnte mit anderen Runtimes. Mhm. Z.B. LiteRT.js einfach dieses diese Runtime von Google, wo man sagen könnte, wir nehmen die gleiche Library, nehmen aber die Inference über LiteRT.js und bauen die dann in Transforms ein. Und das ist im Moment ein Projekt, wo wir immer mal wieder dran arbeiten, weil wir jetzt auch im Moment gerade sehen, dass viele äh Custom Runtimes aufploppen, weil durch Agentic Engineering es plötzlich möglich wird einen äh einen WebGPU Runtime für ein spezifisches Modell zu bauen. W halt vorher war das überhaupt, also erstmal gibt's nicht viele Leute, die sich mit WGSL gut genug auskennen, um sowas selber zu bauen und dann hast du so viele verschiedene Modelle, dass es einfach nicht äh ökonomisch ist äh custom GPU Runtimes zu bauen. Jetzt sind wir soweit und deswegen ist auf jeden Fall ein Projekt, was wir wo verschiedenen Anbietern schauen, wie man eine API bauen könnte, die nicht nur ONNX ähm unterstützt, aber halt auch andere Inference Engines. Und da sind wir aber erstmal am so ein bisschen testing the waters, wer hat Interesse? Was sind dann die die ähm oder wo machen wir den Cut zwischen Transformers JS und Custom Inference?

26:40

Dr. Michael Köpf

Ja, du hast ähm das das Stichwort Google schon erwähnt. Ähm aber ich nehme jetzt vielleicht auch mal Google als äh einen Anbieter heraus. Ähm wie siehst du das grundsätzlich? Also, du bist ja Open Source äh also im Open Source Bereich stark unterwegs, sehr offen, aber ähm grundsätzlich besteht ja die Gefahr, ja, oder sage ich mal die Option für die Zukunft, dass ähm die Browserhersteller einfach sozusagen ihre eigenen ähm Modelle äh sozusagen mitliefern, einbauen ähm und dann gewissermaßen ja den den Raum für so offene äh Lösungen dann sozusagen einnehmen. Ähm, siehst du das oder ähm wel in welche Richtung geht das aus deiner Sicht?

27:25

Nico Martin

Also, ich denke, du sprichst ja konkret die Prompt API an. Und das ist eine eine API mit der Chrome rumexperimentiert, ähm wo man sagt, anstelle, dass die Webseite ein Modell runterlädt und ausführt, wir würde eher der Browser oder perspektivisch auch Operating System einen einen LLM zur Verfügung stellen und die ich dann in meiner Webapplikation nutzen kann. Und ich habe überhaupt gar nichts gegen das Projekt. Ich finde das super. Wir arbeiten noch relativ eng mit ihnen zusammen ähm an verschiedenen äh Library features. Also, wie lösen wir also ganz konkret ähm hatten wir ein vor kurzem ersten Call, was drum ging, wie man Constraint Decoding zusammen mit Reasoning Tags und Tool Calls verwenden könnte, wo wir einen mega guten Austausch haben, wie sie es lösen, wie wir es lösen und das ist also eine super Zusammenarbeit. Zudem glaube ich drum auch nicht, dass es nur das eine oder nur das andere gibt. Angenommen, es würde jetzt wirklich im Prompt äh im im Chrome eine Prompt API geschippt werden, die viel die weit breite Adoption findet. [schnauben] Ähm, dann hätten wir immer noch ähm den Need für kleine Finetune Modelle oder äh nicht nur Finetune, sondern so kleine Task spezifische Modelle. Es wird niemals das ganze ähm den ganzen Katalog von Tasks in in diesen Browser API geben. Das macht für Chrome keinen Sinn. Und wir profitieren auf der anderen Seite dann von von äh Experimenten, die aus dem Projekt rauskommen, wie z.B. die Cross Origin Storage API. das eine ähm Browser API, wo auch Chrome im Moment damit experimentiert und das ist das Problem, dass im Moment der Browser Storage isolated by Origin ist. Heißt also wenn ich über nico.dev irgendein Modell runterlade, dann hat tokentherapie.de kein Zugriff auf dieses Modell und das hat man ja mal eingeschränkt aus äh Fingerprinting. Ja. Ja. äh Reasons und mit dieser Cross Origin Storage API wird's halt dann möglich ähm ein Modell runterzuladen und dann Across Origins äh zu nutzen. Also ich kann dann das gleiche Modell verwenden, was Token Therapie schon runtergeladen hat, also die Webseite runtergeladen hat. Und das sind Überlegungen, die kommen aus diesem ganzen ähm äh Kosmos heraus und wir sind mega dankbar, dass es die gibt, weil wir wir brauchen sowas unbedingt. Ja.

30:05

Jan Schulte

Ähm, kannst du vielleicht noch mal die Abgrenzung zu auch WebNN geben? Das ist jetzt auch ein neuer Standard. Äh, worum geht's da und also wie ist da quasi die Abgrenzung zu euch, aber jetzt auch zu dem, was äh Google macht und äh wie es ist da der Stand?

30:23

Nico Martin

Ja, ich habe ehrlich gesagt noch nicht zu stark mich mit WebNN auseinandergesetzt. Ähm, was ich weiß, ist der Stand ist, glaube ich, im Moment, dass es noch sehr experimentell ist. Das heißt, bis es dann wirklich in die Browser kommt, äh allein schon als als äh als irgendeine Origin Trial, dauert's noch einen Moment und bis es dann wirklich auch adoptet wird von allen Operating Systems und so. Das dauert noch ein Moment, deswegen konzentrieren wir uns halt auf Web GPU. Aber was ich glaube zu wissen ist, dass wir im Moment ja ähm auf Kernel Ebene sagen, wir haben eine Operation und wir möchten gerne diese Operation in WebGPU äh berechnen und deswegen bauen wir dann diesen WGSL Shader, der dann den Input bekommt zurück. Gut, WebNN macht in dem Sinn, glaube ich, anders, dass du nicht mehr die einzelnen Operationen und Kernels schreibst, sondern dass dir die API schon oder dass sie die API schon eine Schnittstelle gibt, wo du dann eigentlich nur noch sagen kannst, berechne mir bitte diesen Computation Graph mit dem Input und dann die ähm auf Operating System Ebene der der optimalste Weg dafür gefunden wird. So, also ich glaube, das wird noch mal sicher Inference Speed noch mal nach äh nach oben bringen, aber der Weg dorthin dauert noch. Also für uns macht's auf jeden Fall Sinn, uns erstmal noch auf erstmal noch aus WebGPU äh das Maximum rauszuholen.

31:57

Jan Schulte

Ja. Ja. Ja. Cool. Ähm, gehen wir vielleicht wieder mal so ein Level höher. Ähm, was mich sehr interessiert, ist das Thema WebMCP. Das ist ja kommt ja jetzt auch äh immer stärker. Ich glaube, Google pusht das auch ähäh super krass. Ähm wie ist da äh euer Support bei Transformer JS? Weil ich kann mir vorstellen, dass ähm das natürlich eine super Kombi ist, äh Browserbased AI mit äh WebMCP. Ähm

32:27

Nico Martin

jain, weil WebMCP ist ja eigentlich die Idee, dass ich meinem lokalen Agent einfach sagen kann: "Hey, äh geh mal oder gib mir die best die die günstigsten Schuhe auf Zalando, keine Ahnung was." und dass dann anstatt dass der Agent auf zalando.com gehen muss und dann Filter anws blablabla, dass dann der Agent einen Agent friendly Interface bekommt, wo er dann sieht, ah, ich habe die Tools, die ich verwenden kann und das ist und das macht in unserem Fall wenig Sinn, es sei denn, jemand würde mit Transformers JS eine Chrome Extension bauen, die dann auf verschiedene Seiten zugreift, aber bei uns ist ja eigentlich eher der Fall, dass ich schon auf der Webseite bin, die oder der der Agent läuft in der Webseite und ob ich jetzt über WebMCP meine Tools baue oder die Tools dann halt direkt in meinen Agent reingib, ist der Unterschied ist nicht so groß. Also ich habe mich noch nicht ster nicht so viel mit WebMCP auseinandergesetzt und ich glaube auch der Use Case ist dann eher für lokale Agents, die dann ins Web gehen und Web nutzen möchten. Okay. [räuspern]

33:35

Jan Schulte

Ja. Okay, das macht Sinn. Ähm, was natürlich auch spannend ist auf der anderen Seite und ich glaube, das könnte ich mir dann natürlich auch sehr gut als so Chrome Extension oder so vorstellen. Was man natürlich dann super mit Transformer JS machen können, ist natürlich diese ganzen, also die die Decision Modells, die jetzt Jeff äh quasi äh ähm ja äh ähm äh publik gemacht hat oder ähäh groß gemacht hat, ne, die ja im Prinzip auch nicht unbedingt jetzt die mega neue Invention sind, ne, sondern im Hintergrund läuft da, glaube ich, dann auch einfach ein Encoder Modell, was halt die API natürlich irgendwie super vereinfacht. Ähm, aber da kann ich mir glaube ich auch ganz gut vorstellen so ähm Chrome Extensions, die beispielsweise irgendwie Content dynamisch als AI generated oder so flaggen. Ich glaube, da hab ich habe ich auch einen Demo eine Demo glaube ich gesehen, die glaube ich sogar mit Transformer JS gebaut wurde. Ich glaube, da könnte es auch spannende Themen geben, ne?

34:37

Nico Martin

Auf jeden Fall und da ist der Vorteil, weil du halt nur ein Forward Pass hast. Du hast nicht oder klassisches LLM dauert ja eine Zeit, weil es ist ein Loop hat und einfach Token by Token. Bei einem Decision Modell hast du eigentlich einen Run vom Modell und bekommst dann direkt die ähm den Output und deswegen spielt es auch keine Rolle, ob der Run 10 Millisekunden dauert oder 200 Millisekunden dauert, ist es beides super schnell. So. Ja. Ja. Bei einem Loop spielt's eine Riesenrolle, ob es 10 Millisekunde oder 200 Millisekunden sind. Und ich habe übrigens äh eine Library basierend auf Transformers JS gebaut von ein paar Wochen, Open Jeff, wo ich ein paar Decision Modelle in ONNX konvertiert habe und dann ähm so eine minimale API rundherum gebaut habe, aber es war mehr so ein kleines Zeitprojekt und ich glaube auch nicht, dass es mega viel Traction jetzt bekommen hat, aber ja, es funktioniert, man kann sie nutzen. [schnauben]

35:30

Dr. Michael Köpf

Ja, jetzt wird mich natürlich mal interessieren, ähm was du eigentlich oder oder wie du als ähm als Machine Learning Engineer eigentlich codest. Also, bist du, ne, also wie wie ist sozusagen dein Workflow, wie stark nutzt du agentische ähm Entwicklung und genau wie machst du das tatsächlich [seufzt]

35:52

Nico Martin

ausschließlich [gelächter] kann sagen. Nee, ähm es ist im letzten Jahr hat das ganze so einen krassen Sprung gemacht, wirklich. Also, ich [schnauben] habe vor einem Jahr habe ich angefangen so ein bisschen mehr damals Claude Code und dann auch ein bisschen Open Code äh zu verwenden, um so kleine Sachen einzubauen. Und jetzt kann man wie sagen, ist meine Arbeit eigentlich sind zwei Bereiche. Auf der einen Seite ist es so Transformers JS und und Arbeit an der Library oder auch sonst ähm Libraries und auf der anderen Seite halt Demos. Also, wenn wir ein neues äh Modell unterstützen, bauen wir eine Demo dafür. Wenn wir ein neues äh Feature einbauen, dann gibt's Demos dazu und das sind meistens kleine Applikationen und die sind einfach 100% gevibecodet, weil du kannst dann einfach innerhalb von ein paar Minuten kannst du einen Demo bauen und diese Demo ist einfach soll einen Use Case zeigen, ähm soll ein bisschen gut aussehen und möchte ich jetzt auch nicht drei Tage dran sitzen. So, deswegen diese Demos sind immer viel gevibecodet. Ähm und dann gucke ich mir halt ein bisschen an, so äh hat er irgendwie Sachen drin, die ich jetzt nicht gut finde. So ein bisschen nach nach Taste auch noch so ein bisschen. Wenn es dann aber um die Arbeit in Transformers JS geht, da ist es viel entweder selber schreiben oder zumindest sehr genau analysieren ähm was ähm was macht er, wieso hat er was gemacht, ähm könnte man es einfacher machen und das ist dann entweder manuell oder dann auch viel einfach Interaktion mit dem Agent oder auch dann sich zwei verschiedene Agents ist eigentlich egal, ob ich verschiedene Modelle oder gleiche Modelle hab einfach nur zwei verschiedene Konversationen, mit denen ich dann beides gleiche Probleme besprechen kann und dieses dies mit einem Agent über Code sprechen ist finde ich ein mega Vorteil, wo ich einfach dann in der Konversation irgendwie relativ schnell zu der optimalen Lösung kommen, auf die ich selber nicht gekommen wäre.

38:00

Jan Schulte

Jetzt würde mich noch mal interessieren, was du noch bei bei Hand, also von Hand schreibst, wo du das gerade gesagt hast. M

38:08

Nico Martin

was war das

38:09

Jan Schulte

so die Low Level Details dann irgendwie wo sich die KI verliert oder ähm m

38:22

Nico Martin

Ja. Nee, wenig. [gelächter] Nee, also ist schon Nee, sind schon so also Kleinigkeiten, weißt du, wo ich dann mal ein paar kleine Sachen ausbessere oder so, aber jetzt ein ganzes Feature würde ich auch nicht von Hand schreiben. Ich glaube ja. Ja. Dieses reden über ein Code ist viel wichtiger als das Schreiben vom vom Code und dann auch zusammen mit der AI verstehen, wieso jetzt das besser war als meine Idee solche Sachen, das ist mega wichtig.

38:56

Dr. Michael Köpf

Ja, dann ähm kommen wir glaube ich auch langsam zum Schluss, wie in guter Tradition wieder ein bisschen überzogen heute. Ähm und zwar würd mich noch mal interessieren, ähm gut, da geht es in neue Welt irgendwie auf mit äh mit Browser KI, ja, wie ich es mal salopp nennen möchte. Und ähm da frage ich mich ähm ja, wenn wenn ich jetzt gerade vielleicht neues Startup gründen wollte oder dergleichen, was sind denn jetzt eigentlich so Produktideen, die sich dadurch jetzt vielleicht eröffnen? Ähm was würdest was würdest du denn machen, wenn du jetzt sozusagen nicht deinen Job bei Hugging Face hättest und ähm solltest jetzt in dem Bereich würdest in dem Bereich gerne weiterarbeiten?

39:35

Nico Martin

ist eine gute Frage. Ähm, ich glaube, was man machen könnte, sind Nischenprodukte, die früher einfach nicht ähm ökonomisch waren, die selber zu bauen, dass man die selber baut. Ähm, aber ja, weiß auch nicht, weil dann ist die, also Code hat ja, also Code schreiben an für sich hat ja ein Wert verloren. So eine Applikation, die X000 Zeilen Code hatte, die habe ich heutzutage hat man die in 10 Minuten geschrieben. Das ist ja ja, da ist also deswegen ich würde ich auch viel mehr auf open Source setzen, weil ob ich jetzt meine Software Open Source habe oder nicht, sie kann so oder so innerhalb von ein paar Minuten äh neu geschrieben werden. Und dann habe ich von Open Source immerhin noch den kleinen Vorteil, dass es vielleicht eine Community gibt oder ein bisschen Vertrauen Vertrauen gibt, wo ich denke, wo vielleicht mehr ähm wo, weil ich will ich will jetzt nicht unbedingt ein neues AI Startup bauen, was ein neues AI Feature entwickelt oder, weil ich glaube, da ist der Markt im Moment extrem überhitzt mit Leuten, die ähm jünger sind als wir 3 und einfach Tag und Nacht irgendeinen Startup pushen wollen und ich glaube, da ist es die Chance klein, dass man da reinkommt. Aber ich glaube, was ich machen würde, ist glaube eher in die in die Beratung gehen und weil bei KMUs ähm ist glaube ich noch so viel Aufholbedarf und so viel so viele Möglichkeiten, so viel was noch nicht genutzt wird, was man glaube ich echt gut machen könnte. Also, dass man, also ich glaube, es ist so ein bisschen wie Anfang der 90er, da war ich jetzt noch zu jung dafür, aber dass man einfach dieses Web ist da und plötzlich hat man die Möglichkeit Webseiten zu bauen und die großen bauen schnell, das ist klar, aber das aber dann mit einer Verzögerung von 5 bis 10 Jahren kommen dann die kleineren oder die kleineren Betriebe auch oder KMUs, die dann halt auch merken, hey, wir könnten jetzt mit Web oder jetzt in unser Fall, wir können mit AI echt vieles einfacher gestalten. und können uns dann alles, was keinen Spaß macht, können wir weg automatisieren und und können uns auf das konzentrieren, was uns als Unternehmen ausmacht. Und ich glaube, da ist im Moment noch viel offen. Ja, ich glaube, ich würde eher in die Richtung gehen. Das ist ein bisschen langweilig, weil ich jetzt nicht die perfekte Startup Idee habe, aber ich glaube, in dem Bereich kann man viel machen. Ich glaube, das ist ja, was ihr im Moment ihr beide macht, oder? [gelächter]

42:16

Dr. Michael Köpf

Ja, genau. Oder nicht? Okay.

42:19

Nico Martin

Ja, dann gut.

42:20

Dr. Michael Köpf

Aber den den Nachholbedarf können wir glaube ich bestätigen. Ja, der ist real und es ist ja auch einfach wahnsinnig viel, was dazu was es dazu absorbieren gilt, ne? Muss man ja wirklich auch fairerweise sagen. Ja.

42:33

Jan Schulte

Ähm vielleicht, Nico, zum letzte [räuspern] Frage zum Abschluss. Ähm oder was würdest du unseren Zuhörern raten, die jetzt vielleicht in den Bereich WebML gehen würden, vielleicht auch äh gerade für Studienabgänger oder noch Studenten? Ähm, welchen Tipp könntest du unseren Zuhörern geben? Ähm,

42:52

Nico Martin

ich glaube vor allem ähm, wenn man WebML nutzen möchte, dann nutzt es nicht, weil es WebML ist, sondern guckt euch an, welche Probleme hat eure Applikation oder möchte eure Applikation lösen und dann überlegt euch, was davon macht Sinn im Browser auszuführen und was davon lässt man lieber erstmal in der Cloud, weil ich habe ich habe ein Beispiel zum äh wo wo ich jetzt im Moment gerade an der Extension arbeite für Thunder AI Thunder Thunderbird ist dieser E-Mail Client Open E-Mail Client, die ich immer verwendet habe. Dafür gibt's ein Addon, das nennt sich Thunder AI, was wo du halt dein Claude, dein GPT, was dran hängen kannst und dann halt AI Features bekommst innerhalb von Thunderbird. Unds Problem ist jetzt genau dort, dass du halt dann deine ganze E-Mail Konversation mit allen E-Mailadressen, die innerhalb von in dem Verlauf sind, mit allen Namen, mit allen privaten Informationen schickst du halt dann an diesen Cloud Provider. Was ich jetzt am bauen bin, ist eine kleines Add-on, was du dann in Thunder AI integrieren kannst, wo du deine Privacy Filter einbaust. Ist ein kleines Modell, läuft in Transformers JS und das bekommt dann erst den Input, filtert alle Namen, E-Mailadressen, Straßen, also Adressen und alles mögliche raus. Ersetzt durch Placeholder und schickt dann diesen Placeholder Content an in die Cloud und bekommt dann noch ein Placeholder Response wieder zurück und dann kannst du einfach diese Placeholder wieder ersetzen. Das heißt, die Cloud sieht dann nie, welcher Name, welche E-Mailadresse verwendet wurde. Muss auch nicht, um eine Antwort zu erstellen. Das heißt, ich möchte jetzt nicht den ganzen Prozess in klein bringen. Wie gesagt, das an dem Punkt sind wir noch nicht, aber dieser eine Part, dieses Privacy Filtering funktioniert Cross Device, deswegen setze ich es [räuspern] da vorne rein und dann macht Sinn, diesen einen Tasks jetzt äh im im Browser aus oder im Client auszuführen. Ich würde ich würde wirklich gucken, welche Pipelines habe ich, welche Prozesse habe ich und welche Teile davon kann ich in Browser bringen.

45:07

Jan Schulte

Super, vielen Dank, Nico. [gelächter] Ähm ja, wenn ihr mehr von unseren Folgen sehen wollt, klickt den Subscribe Button unten [gelächter] und vielen Dank noch mal, Nico, und dann bis zum nächsten Mal.

45:22

Nico Martin

Herzlichen Dank. Vielen Dank. So, tschüss.

Alle Folgen im Protokoll