Generative KI-Systeme wie ChatGPT, Gemini, Claude oder Copilot sind längst im Arbeitsalltag angekommen. Inhalte erstellen, Texte zusammenfassen, Ideen entwickeln – vieles läuft heute über KI. Doch im Unternehmenskontext taucht schnell eine zentrale Frage auf: Wo laufen diese Systeme eigentlich – und was passiert mit den Daten? Was wäre, wenn…
KI nicht „irgendwo da draußen“, sondern direkt im Unternehmen laufen würde?
In dieser Episode von „Vom Hype zum Handeln“ spreche ich mit Raphael Lepuschitz, Unternehmer, Informatiker und Technikethiker, über genau diese Entwicklung. Gemeinsam gehen wir der Frage nach:
Muss KI wirklich groß sein – oder vor allem smart?
Lokal, kontrollierbar + direkt im Unternehmen
Denn die meisten bekannten KI-Tools arbeiten in der Cloud, oft außerhalb Europas. Kundendaten, internes Wissen oder vertrauliche Dokumente verlassen damit das eigene Unternehmen. Für viele Betriebe ist genau das der Punkt, an dem Unsicherheit entsteht – rechtlich, wirtschaftlich und strategisch.
Wir beantworten die Frage: Was wäre, wenn KI nicht „irgendwo da draußen“, sondern direkt im Unternehmen läuft?
Lokal, kontrollierbar, mit überschaubarem Aufwand – auch für kleine und mittlere Betriebe.
Tiny LLMs
Raphael beschäftigt sich seit Jahren mit KI und zeigt, warum sogenannte Tiny-LLMs (kleine, lokal laufende Sprachmodelle) für viele Unternehmen eine echte Alternative zu Cloud-Lösungen wie ChatGPT, Gemini oder Claude darstellen.
Während große Modelle enorme Rechenleistung benötigen und meist außerhalb Europas betrieben werden, laufen Tiny-LLMs dort, wo die Daten entstehen: im eigenen Unternehmen.
🧩 Lokale KI bedeutet vielfach „Datenhoheit„, da
🔹keine sensiblen Kundendaten in externen Clouds
🔹bessere Kontrolle im Sinne von DSGVO & AI Act
🔹Schutz von internem Know-how und Geschäftslogik
Technologisch möglich wurde das durch Fortschritte in der Modellkomprimierung, Open Source und effizientere Hardware. Heute reicht oft schon ein Mac Mini oder ein leistungsfähiger PC, um leistungsfähige KI-Anwendungen lokal zu betreiben – wirtschaftlich oft günstiger als mehrere laufende KI-Abos.
Wir besprechen auch Use Cases:
Von Text- und Bildgenerierung über Wissensmanagement bis hin zu agentischen KI-Systemen, die interne Prozesse automatisieren – etwa E-Mail-Antworten, Dokumentation oder Workflows. Besonders sinnvoll ist das überall dort, wo sensible Daten im Spiel sind oder KI dauerhaft im Hintergrund arbeiten soll.
Raphael macht aber auch klar: Tiny-LLMs haben Grenzen: „Die neuesten Modelle erscheinen zuerst in großen Cloud-Systemen, lokale Varianten folgen zeitverzögert.“
Da dies für viele Unternehmen ein absolut akzeptabler Trade-off ist – zugunsten von Sicherheit, Anpassbarkeit und Kostenkontrolle – fällt das häufig nicht ins Gewicht.
Ausblick
Zum Abschluss wirft Raphael einen Blick nach vorne: Lokale KI wird in den kommenden Jahren zum Standard – nicht nur in Unternehmen, sondern auch auf Smartphones, Geräten und sogar in Robotik-Systemen. Gleichzeitig mahnt Raphael zu Verantwortung, Regulierung und dem Prinzip Human-in-the-Loop, damit KI ein Werkzeug bleibt – und nicht außer Kontrolle gerät.
Fazit
Lokale KI zeigt, dass technologische Innovation nicht zwangsläufig größer, teurer oder komplexer werden muss. Für viele Unternehmen liegt der wahre Fortschritt in smarten, kontrollierbaren und anpassbaren Lösungen, die sich nahtlos in bestehende Strukturen integrieren lassen.
Wer KI heute strategisch einsetzen möchte, sollte nicht nur fragen welches Tool, sondern auch wo und unter wessen Kontrolle diese Technologie arbeitet.
Technikethiker Raphael Lepuschitz
Raphael Lepuschitz ist Unternehmer, Informatiker und Technikethiker. Als studierter Philosoph und Informatiker, beschäftigt er sich seit über einem Jahrzehnt mit KI-Systemen und deren gesellschaftlichen Auswirkung. Raphael ist Gründer der Agentur Lepuschitz Media sowie des KI-Consulting-Unternehmens RoboLabs.
Er hält Vorträge und Workshops zu KI, Open Source und lokaler KI-Infrastruktur und engagiert sich für einen verantwortungsvollen, praxisnahen Einsatz von künstlicher Intelligenz in Unternehmen. Zudem ist er Mitinitiator des KI-Cafés der Wirtschaftskammer Tirol, das Unternehmer:innen einen niederschwelligen Zugang zu KI-Themen ermöglicht.
ÜBER DEN PODCAST
Host in Folge 20 ist Petra. Expertin für digitales Marketing mit KI
Mit ihrem digitalen und Marketing-Background geht es für Petra darum, den Blick weg von Tools, hin zum zentralen Erfolgsfaktor für digitale Transformation zu lenken: Dem aktiven Gestalten von und für Menschen in Organisationen – und dabei den Blick für Chancen aber auch kritisches Denken und Handeln im Umgang mit KI-Tools zu schärfen.
Petra LIEBL – Content Bakery
Als erfahrene Onlineexpertin und zertifizierte Digitalberaterin verbindet Petra Strategie, digitales Marketing und KI zu wirkungsvollen Online-Lösungen für Unternehmer:innen.
„Wir wollen den Blick weg von Technik, hin zum zentralen Erfolgsfaktor für digitale Transformation lenken: Dem aktiven Gestalten von und für Menschen in Organisationen.“
Im Podcast Vom Hype zum Handeln“ tauchen in einzelne Aspekte ein, lassen Experten zu Wort kommen und stellen praktische Beispiele aus der Unternehmenspraxis vor. Dabei werden sowohl erfolgreiche Implementierungen als auch Lernerfahrungen aus weniger erfolgreichen Versuchen geteilt, um Unternehmen den Weg in die KI-gestützte Zukunft zu erleichtern.
In „Vom Hype zum Handeln“ …
- beleuchten wir verschiedene Anwendungsfelder
- teilen wir eigene Erfahrungen und Insights
- bieten wir Experteninterviews mit Praktikern
- stellen wir konkrete Implementierungsbeispiele vor
- besprechen wir KI-Entwicklungen
Unser Transformationspodcast „Vom Hype zum Handeln“
- erscheint 2-wöchentlich und wird um
- Audio-Bausteine aus dem „KI Kaffee“ und Beiträge zum Themenkreis Wandel und KI ergänzt.
Deine Gastgeberin
- Petra Liebl – Marketing-Beratung und Digitalisierungsexpertin
- Daniel Knabl – Systemische Beratung und IT-Experte