OpenSource und der Weg zur digitalen Souveränität: Ein Praxisbeispiel für hybride KI-Infrastrukturen
Warum digitale Souveränität kein Luxus, sondern Notwendigkeit ist
Die aktuelle Debatte um digitale Souveränität wird zu oft lediglich theoretisch geführt. Wir haben uns entschieden, sie praktisch anzugehen. In einer Welt, die zunehmend von wenigen großen Multi-Cloud-Anbietern dominiert wird und gleichzeitig von geopolitischen Verwerfungen zerrüttet ist, stellt sich die Frage: "Wo liegen meine Daten und wer hat Kontrolle darüber?" nicht mehr nur für Geheimdienste. Es ist eine zwingende strategische Überlegung für jedes datengetriebene Unternehmen geworden.
Echte Souveränität bedeutet nicht, die Cloud zu verteufeln. Sie bedeutet, die Wahlfreiheit zu haben. Hybride Integrationsszenarien, die das Beste aus beiden Welten verbinden – die Skalierbarkeit der Cloud mit der ultimativen Kontrolle von On-Premises-Komponenten – sind der Schlüssel. Unsere jüngste Arbeit an unserem On-Prem-Datacenter ist ein konkretes Beispiel dafür, wie man diese Souveränität Schritt für Schritt zurückgewinnt, ohne auf modernste Technologie verzichten zu müssen.
Das Fundament: Ein Datacenter-Setup für maximale Kontrolle und Sicherheit
Unser Ziel war der Aufbau einer Infrastruktur, die flexibel genug für moderne Workloads (wie KI) ist, aber keine Kompromisse bei der Sicherheit eingeht. Dabei setzen wir konsequent auf einen reinen OpenSource-Stack.
Hier sind die Details unseres Setups:
- Der Virtualisierungs-Hub (Proxmox VE): Das Herzstück bildet ein Proxmox-Cluster. Diese auf Debian Linux basierende KVM-Virtualisierungslösung bietet uns die Flexibilität, virtuelle Maschinen (VMs) und Container effizient zu verwalten, ohne Lizenzkosten-Lock-in.
- Netzwerk-Segmentierung (VLANs): Neben dem physischen Basis-Netzwerk haben wir mehrere virtuelle lokale Netzwerke (VLANs) erstellt. Jedes VLAN bildet eine isolierte Zone, in der bestimmte Systeme platziert werden. Die gesamte Verwaltung und das Routing zwischen diesen Netzen erfolgt zentral über unseren zentralen Switch und die Firewall. Dies ermöglicht eine granulare Kontrolle darüber, welche Systeme miteinander kommunizieren dürfen.
- Netzwerk-Rückgrat (LACP & VLANs): Um Ausfallsicherheit und Performance zu gewährleisten, haben wir die physischen Netzwerkschnittstellen des Proxmox-Hosts mittels LACP (Link Aggregation Control Protocol) zu einem logischen Bond (Bündel) zusammengefasst. Diese Technologie fasst mehrere Ethernet-Verbindungen zu einer einzigen logischen Verbindung zusammen, was die Bandbreite erhöht und Redundanz schafft, falls eine physische Verbindung ausfällt. Die logische Trennung der Datenströme der verschiedenen VMs erfolgt dabei konsequent über die zuvor definierten VLANs (Virtual Local Area Networks).
Strikte Netzwerksegmentierung für KI-Workloads Das Herzstück unserer Sicherheitsarchitektur bildet die strikte Trennung der Netzwerksegmente, da innovative Technologien wie Künstliche Intelligenz (KI) massive Datenmengen verarbeiten und somit ein besonders hohes Schutzniveau erfordern. Um dies zu realisieren, haben wir unser Netzwerk konsequent in logische Zonen unterteilt. Die Basis bildet das Management-Netz (VLAN 20), in dem die kritische Infrastruktur – von der Proxmox-Zugriffsoberfläche bis hin zu den Management-Interfaces der Switche und Firewalls – angesiedelt und vollständig von der Außenwelt isoliert ist. Davon getrennt existiert das AI-Netz (VLAN 50) als dedizierter Hochsicherheitsbereich, in dem derzeit bereits zwei VMs für KI-Dienste wie OpenClaw operieren. Dieses „Security by Design“-Konzept sieht vor, dass das KI-Netzwerk standardmäßig keinerlei direkte Verbindung zur Außenwelt oder zu anderen internen Netzen besitzt. Der Zugriff auf die Dienste erfolgt stattdessen kontrolliert über sogenannte PIN-Holes. Unsere zentrale Firewall auf Basis von OPNsense überwacht dabei präzise jeden Paketfluss zwischen den VLANs. So wird ein sicherer Admin-Zugriff aus dem Management-Netz auf die KI-VMs nur über spezifische, passwortgeschützte Regeln gewährt. Der reguläre User-Zugriff auf Web-Interfaces erfolgt ebenfalls nicht direkt, sondern über einen Reverse Proxy im Standard-Netz, der Anfragen über ein exakt definiertes PIN-Hole an die jeweilige KI-VM weiterleitet. Dieser Aufbau garantiert, dass ein Angreifer selbst im Falle einer Kompromittierung eines Dienstes im abgeschotteten VLAN 50 isoliert bleibt und kein Zugriff auf das Management-Netz oder andere sensible Daten möglich ist.
Ausblick: Die nächsten Schritte zur digitalen Souveränität
Wir haben ein stabiles Fundament gelegt, doch der Weg ist noch nicht zu Ende. Um unsere Vision einer vollständig kontrollierbaren und unabhängigen Infrastruktur zu vervollständigen, stehen zwei große Projekte auf unserer Roadmap:
- Aufbau eines On-Premise LLM (Large Language Model): Nach der erfolgreichen Segmentierung unseres Netzwerks werden wir ein leistungsfähiges, offenes Sprachmodell (wie Llama oder Mistral) direkt in unserem abgeschotteten AI-Netz (VLAN 50) hosten. Damit erreichen wir ein neues Level an Datenschutz: Sämtliche Anfragen und verarbeiteten Daten verbleiben zu 100 % in unserer eigenen Infrastruktur, ohne jemals eine externe Cloud zu berühren.
- Aufbau eines Kubernetes-Clusters mit opendesk: Um die Orchestrierung unserer Container-Workloads zu modernisieren und zu skalieren, planen wir den Aufbau eines Kubernetes-Clusters (K8s) innerhalb unserer Proxmox-Umgebung. Darauf basierend werden wir opendesk (die Open Source Business Platform) deployen. Ziel ist es, eine souveräne Alternative zu proprietären Office-, Kollaborations- und Kommunikations-Tools zu schaffen, die nahtlos in unsere hybride Architektur integriert ist.
Diese Schritte markieren den Übergang von einer reinen Infrastruktur-Bereitstellung hin zu einer vollwertigen, souveränen Anwendungsplattform.
Fazit: OpenSource dominiert den Stack
Unsere bisherige Arbeit zeigt deutlich: OpenSource-Technologien dominieren den kompletten Stack – vom Hypervisor über das Netzwerk bis zur Sicherheit. Es funktioniert durchgängig stabil, performant und ohne die unvorhersehbaren Risiken proprietärer Anbieter. Digitale Souveränität ist machbar – man muss es einfach machen!.
Haben Sie Fragen zu unserem Setup oder planen Sie ähnliche hybride Integrationsszenarien? Melden Sie sich gerne bei uns. Wir teilen unsere Erfahrungen.
