Proxmox Homeserver – Meine Pläne 2022
Vor längerer Zeit habe ich in meinem Blog gefragt, welche Themen euch denn so interessieren. Dabei kam erstaunlicherweise zum Vorschein, dass das Thema Heimserver einen großen Anklang findet. Sehr passend, denn in der nächsten Zeit werde ich mich verstärkt mit dem Thema Proxmox Homeserver beschäftigen.
Doch wie kam es denn überhaupt dazu?
Als ich vor einer Weile etwas am Server verändern wollte, ging so ziemlich alles schief. Der Server ist seither außer Betrieb und auch das Smart Home vorübergehend nicht aktiv. Leider. Kurzum musste ich das Beste aus der Situation machen und so ging es daran, die neue IT für das Smart Home zu planen. Damit ich künftig keine Probleme mehr mit solchen Ausfällen bekomme, habe ich mich für ein ganz spezielles Setup entschieden, das sicherlich nicht sehr häufig im Zuhause aufgebaut wird.
Wie ich mir meinen Proxmox Homeserver vorstelle, welche Technik ich dazu noch brauche und wie das am Ende aussehen soll, möchte ich dir in diesem Beitrag erklären. Es geht hier also um meine Homeserver Hardware 2022.
Kleiner Tipp am Rande: Wenn du selbst noch einen Server suchst, schau mal bei Cyberport * rein. Dort gibt es Workstations und Server, die du für Proxmox nutzen kannst.
Der alte Heimserver
Bislang kam in meinem Smart Home ein HP ProLiant DL360 G7 zum Einsatz. Er war ausgestattet mit einer 12-Kern-CPU und insgesamt 36 GB Arbeitsspeicher. Damit ich verschiedene Systeme betreiben konnte, habe ich mich für Proxmox entschieden, da es in meinen Augen sehr gut zum Virtualisieren geeignet ist. Aber klar, dafür wurde es ja auch entwickelt.
Der Server selbst stellte mit dann mehrere virtuelle Maschinen zur Verfügung. Manche davon nutzte ich für die Arbeit an und um meinen Blog. Zum Beispiel konnte ich so bequem Dateien austauschen, ohne diese in einer angemieteten Cloud ablegen zu müssen. Die Verarbeitung der Daten im eigenen Zuständigkeitsbereich war durchaus ganz bequem. Zum Einsatz kam hierfür eine Nextcloud.
Alle virtuellen Maschinen lagen dabei auf einem NAS. Es ist ausgestattet mit insgesamt 16 TB Speicher und 10 GB Arbeitsspeicher. Genug Ressourcen also, um all auch eine größere Menge von Daten verarbeiten zu können. Notfalls kann das NAS dank der 10 GB Arbeitsspeicher auch kleinere virtuelle Maschinen betreiben. Und genau der Punkt wird nochmal im neuen Setup wichtig werden.
Ein zweites NAS kann zu Backup-Zwecken dienen und erweitert den Speicher des ersten NAS nochmals um 16 TB. Es stehen so also insgesamt 32 TB Speicher InHouse zur Verfügung.
Übrigens habe ich es in zwei Jahren nicht geschafft, den Server sauber in einem Serverschrank zu verstauen. Schande über mein Haupt! Auch eine USV hatte der Server nicht, die NAS jedoch schon.
Aber jetzt wird alles anders!
- Intel NUC
- Intel NUC
- Intel NUC
Zuletzt aktualisiert 2024-11-22 / (*) Affiliate Links / (**) Affiliate Links, Preis kann abweichen (andere Plattform) / Bilder von der Amazon Product Advertising API / Der angegebene Preis kann seit der letzten Aktualisierung gestiegen sein.
Die neuen Proxmox Homeserver
Nachdem sich der alte Server nun also verabschiedet hat, wurde es Zeit für neue Technik. Hierzu kommen in meinem Fall zwei Dell PowerEdge R630 zum Einsatz. Sie verfügen über jeweils zwei Prozessoren mit jeweils 10 Kernen. Unterstützt werden sie dabei von jeweils 48 GB Arbeitsspeicher.
Beide Server kommen so zusammen auf 40 Kerne und insgesamt 96 GB Arbeitsspeicher. Genug Power, um auch für die nächsten Jahre gerüstet zu sein. Zumindest für all das, was ich mit ihnen anstellen möchte.
Mein Ziel ist es dabei, beide Server in einem Proxmox Cluster zu betreiben. Die virtuellen Maschinen bleiben weiterhin auf dem NAS abgelegt und werden von dort aus abgerufen und auch wieder dorthin gespeichert. Das ermöglicht mir innerhalb des Clusters eine sogenannte Live Migration durchzuführen. Auch im Fehlerfall soll Server 2 die Aufgaben von Server 1 automatisch übernehmen, ohne dass hierfür mein manuelles Eingreifen notwendig ist.
Der große Vorteil besteht nun darin, dass ich Server 1 problemlos abschalten kann, während das Smart Home mit all seinen weiteren Diensten auf Server 2 weiter lauffähig bleibt. Sollte also wieder einmal ein technisches Problem entstanden sein, gibt es keine Probleme im Alltag und auch keinerlei Einschränkungen. Die Hochverfügbarkeit macht es möglich.
Damit alles auch sauber verstaut werden kann, gibt es darüber hinaus noch einen Serverschrank, der bereits seinen Platz gefunden hat. Er wird später alle Geräte beinhalten, die für den Betrieb des Smart Homes und weiteren Diensten gebraucht werden.
Das leidige Thema Strom
Damit die Proxmox Homeserver auch während eines Stromausfalls sicher heruntergefahren werden können, braucht es eine unterbrechungsfreie Stromversorgung. An diese werden beide Server angeschlossen. Im Idealfall wird es auch hier ein 19 Zoll Rackmodell werden, sodass die USV nahtlos in den Schrank integriert werden kann.
Die NAS-Systeme sind bereits durch eine eigene USV geschützt. Jedoch ist es problematisch, dass beide NAS von unterschiedlichen Herstellern sind. Denn sowohl Synology als auch QNAP haben in ihren Geräten die Zugangsdaten für das netzwerkbasierte Abrufen des Stromstatus fest in die Konfigurationsdateien eingetragen. Da nun beide Konfigurationsdateien voneinander abweichen, kann ein Synology-NAS nicht mit einem QNAP-NAS kommunizieren.
Da ich auch an der Konfiguration nichts ändern möchte (man weiß ja nicht wozu das führt oder wie lange das hält), werde ich einen Raspberry Pi als Vermittler einsetzen. Er wird für mich den aktuellen Status des Akkus überwachen und den NAS gegebenenfalls mitteilen, dass sie bitte herunterfahren sollen. So wird es auch im Falle eines Stromausfalls möglich sein, beide NAS-Systeme sicher offline zu bringen, ohne dass ich einen Datenverlust befürchten muss.
Die Server selbst sind getrennt abgesichert, da ich die Last auf einen Akku nicht zu stark nach oben treiben möchte. Ich schaffe außerdem noch eine Redundanz, da es als eher unwahrscheinlich gilt, dass beide Akkus kaputt gehen.
Die Homeserver einrichten
Damit auch später alles voll funktionsfähig ist, benötige ich zwei verschiedene Netzwerke. Eines der Netzwerke ist das bereits vorhandene Heimnetz. Hierüber können alle Rechner mit den Servern kommunizieren.
Das zweite Netzwerk wird ein rein internes Netzwerk für NAS und Server. Es werden von mir statische IP-Adressen vergeben und es gibt keinerlei Verbindung ins Internet. Im Falle eines Stromausfalls wird dieses eigene Netzwerk aufrechterhalten, so dass die Kommunikation zwischen Servern und NAS weiterhin gewährleistet ist.
Ein weiterer Vorteil dieser Lösung besteht darin, dass die Live Migration und der Datenverkehr zwischen Servern und NAS nicht über das Heimnetz stattfindet. Ein Datenaustausch und die Migration kann so viel schneller erfolgen, da es sich hierbei um ein eigenes 1 GBit-Netzwerk handelt, das bei Bedarf auf bis zu 10 GBit erhöht werden kann. Auf absehbare Zeit werde ich mit jedoch mit 1 GBit zufrieden geben.
Aus dem Serverschrank selbst kommen so nur Stromkabel und ein einziges Netzwerkkabel, das die Verbindung zum Heimnetz herstellen wird. Sollte es im Falle eines Stromausfalls zu Problemen kommen, kann ich mein Notebook bequem an das zweite Netzwerk anschließen und manuelle Maßnahmen ergreifen. Das Ziel soll es jedoch sein, dass die IT des Hauses sich in einem solchen Fall komplett selbst regeln kann.
Ein dritter Proxmox Homeserver
Sicherlich erklärst du mich nun für verrückt, wenn ich von einem dritten Proxmox Homeserver spreche. Doch keine Sorge, das hat durchaus seinen Grund. Du musst dir vorstellen, dass zwei Server alleine kein vollständiges Cluster bilden können. Es ist in einem solchen Fall eine dritte Stimme notwendig.
Stell dir vor, Server 2 meldet, dass Server 1 nicht erreichbar ist. Was er allerdings nun nicht weiß ist, ob es an ihm selbst oder an Server 1 liegt. Also ist die eigene Verbindung gestört oder ist Server 1 offline?
Aus diesem Grund benötigt es einen weiteren Server, der seine Stimme hierzu abgibt. In meinem Fall wird das eine virtuelle Maschine auf dem NAS sein, die sich über einen zweiten Netzwerkadapter direkt in das Netzwerk der Proxmox Homeserver einklinkt. Auf dem NAS selbst sollen dann keine weiteren virtuellen Maschinen betrieben werden. Die eine wird jedoch deshalb genutzt, da sie so die dritte Stimme sein kann, welche für den Betrieb notwendig ist.
Clever an diesem Konzept ist jedoch, dass theoretisch weitere Server integriert werden können. Hierzu genügt es, diese entsprechend mit den Switches zu verbinden und Proxmox zu installieren. Danach können sie in das Cluster aufgenommen und verwaltet werden. Sollte also in meinem Fall in einigen Jahren die Kapazitätsgrenze erreicht sein, kann ich jederzeit mein Setup erweitern.
Mein weiteres Vorgehen
Zum jetzigen Zeitpunkt wo ich den Artikel verfasse, warte ich noch auf meine Server. Sobald sie angekommen sind, werden sie selbstverständlich in den Serverschrank eingebaut. Dieser bekommt dafür noch seine eigene Erdung und hat bereits eine eigene Stromversorgung erhalten.
Die Server erhalten Proxmox und werden in das Cluster aufgenommen. Sobald dieser Schritt abgeschlossen ist, werden die NAS in den Serverschrank aufgenommen und an die jeweiligen Netzwerke angeschlossen. Danach geht es an die weitere Einrichtung der virtuellen Maschinen. Hierzu werden sie alle auf Server 1 gestartet. Über Regeln der Hochverfügbarkeit in Proxmox wird dann vorgegeben, welche virtuellen Maschinen auf welchem Server (in meinem Fall Server 2) im Ausfall migriert werden sollen.
Darüber hinaus muss eingestellt werden, dass im Falle eines Stromausfalls zuerst die Server herunterfahren und im Anschluss die NAS-Systeme. Aus diesem Grund haben die NAS-Systeme bisher auch den größeren Akku verbaut. Nach der aktuellen Konfiguration kann der Betrieb der Speicher so für insgesamt 2 Stunden aufrechterhalten werden. Die Server erhalten hier eine geringere Überbrückungszeit.
Damit schlussendlich dann auch die NAS-Systeme zuverlässig herunterfahren, wird noch der Raspberry Pi integriert. Er sorgt dann dafür, dass beide NAS-Systeme den jeweiligen Befehl erhalten beziehungsweise die Daten des Akkus übermittelt bekommen.
Bei mir soll es künftig jedenfalls keine Einschränkungen mehr durch einen ausgefallenen Server geben!
8 Kommentare
Spooky · 2. Juni 2024 um 19:45
Hallo,
Bin gerade dabei mir eine Reihe deiner Blogposts durchzulesen, weil mich das Thema HomeServer/HomeLab sowie Home Automation sehr interessiert und ich dabei bin mir Informationen zusammenzusuchen, um mir ein HomeLab zu konfigurieren.
Aktuell läuft bei mir als Home Automation HomeAssistant auf einem NUC und habe einen weiteren NUC als Teststation für HomeAssistant am laufen.
Meine Grundidee wäre jetzt gewesen, einen Cluster mit 3 PROXMOX nodes zu erstellen, entweder mit 3 NUCs oder 2 NUCs + 1 NAS mit PROXMOX.
Schritt für Schritt möchte ich noch weitere Dienste laufen lassen, wie z.B. Pfsense, WireGuard, PaperlessNGX, Bitwarden, PiHole sowie die eine oder andere virtualisierte Serverumgebung auf Win und Linux Basis und dann vielleicht noch eine TrueNAS-scale Umgebung um mal damit rumzuprobieren.
Plex möchte ich ebenfalls mal ausprobieren sowie Frigate als Alternative zu meinem Reolink-NVR für meine Reolink Kameras.
Durch deine Beiträge habe ich jetzt weitere Inspiration bekommen 🙂 und die Idee mit deinen 2 Dell Servern ist verlockend 😉
Würde mich mal interessieren wie bei deinem aktuellen Setup der Stromverbrauch aussieht.
Könntest du dazu bitte mal ein paar Informationen geben?
Kann jetzt leider schwer einschätzen wie viele Ressourcen ich für mein Vorhaben wirklich benötige und ob dafür wirklich schon ein Cluster aus so performanter Server HW benötigt wird oder ob man das durchaus auch noch auf einem niedrigeren Level realisieren könnte.
Würde mich da sehr über deine Meinung und Erfahrung freuen.
Vielen Dank
Lukas · 3. Juni 2024 um 08:47
Hi Spooky,
erstmal freue ich mich sehr darüber, dass du bei mir so viel Inspiration findest. Schön, dass ich andere für das Thema begeistern kann. 🙂
Zum Strombverbrauch meines Homelabs kann ich dir in der Tat gar nicht so viel sagen, weil ich das nie gemessen habe. Aber es dürfte im Maximum irgendwo bei 800 Watt liegen. Wenn die Server voll ausgelastet sind. Was sie in der Praxis nicht sind. Man darf auch nie vergessen, dass so Rackserver eben schon eher in das Highend-Segment gehen und da der Stromverbrauch … sagen wir eher sekundär ist. Gerade da meine Server noch mehr tun als nur Smart Home, war das für mich persönlich auch nie der relevante Faktor. Auch wenn er eigentlich nicht vernachlässigt werden sollte.
Für dein Vorhaben musst du dir überlegen, ob du ein Hochverfügbarkeits-Cluster bauen möchtest. Wenn nicht, dann brauchst du nicht mehrere Hosts. Wenn du aber ein Hochverfügbarkeits-Cluster bauen willst, brauchst du mindestens 3 Nodes. 3 deshalb, weil man so das Quroum herstellen kann, was für die Entscheidung notwendig ist, ob eine virtuelle Maschine verschoben werden muss oder nicht.
Wenn du Frigate einsetzen willst, kann ich dir nur ganz dringend den Coral Stick empfehlen. Auch dazu findest du was bei mir im Blog: https://hobbyblogging.de/frigate-coral-usb-beschleuniger
Als Ausgangspunkt für deine Überlegung kannst du wie folgt vorgehen: Schau dir die Empfehlungen für die Softwares an. Wie viel RAM wird dafür empfohlen in Summe? Da rechnest du dann noch einen Puffer für Proxmox und die VM selbst drauf.
Damit ergibt sich dann dein RAM-Bedarf für die jeweilige Maschine. Grundsätzlich glaube ich aber, dass du mit zwei NUCs schon viel realisieren kannst. Insbesondere wenn es nur für eine beschränkte Zahl an Nutzern gedacht ist.
Was du allerdings nicht vergessen darfst ist, dass du nicht am Limit laufen solltest. Also du brauchst auch noch etwas Puffer nach oben, um ggf. zu skalieren.
PfSense und Wireguard kann ich persönlich gar nicht einschätzen, da ich es nie genutzt habe. PiHole ist recht sparsam, das wird also kein Knackpunkt sein. PaperlessNGX braucht vor allem bei der Nutzung (OCR) ein paar Ressourcen. Bitwarden ist auch nicht sooo hungrig an Bedarf. Windows ist da schon eine andere Nummer.
Wenn du magst, kann ich dir gerne mal meine VM-Konfiguration zusammenstellen, damit du da einen besseren Überblick hast.
Smarte Grüße
Spooky · 3. Juni 2024 um 19:45
Hi Lukas,
Vielen Dank für deine schnelle Antwort und deine Einschätzung zu meinem Projekt.
Woooowww, 800W ist schon eine Nummer 🙂
Ja ich dachte effektiv an ein Hochverfügbarkeits-Cluster, deswegen auch die 3 Hosts.
Und wegen dem Gesamtenergieverbrauch hatte ich eben an NUCs gedacht, wo der Stromverbrauch aber natürlich auch die Performance deutlich unter der einer Server HW liegt. Die Frage ist halt ob das mit NUCs überhaupt realisierbar wäre und dazu dann gleich eine Frage zur Ressourcenverteilung.
Wo ich mir jetzt nicht so sicher bin, ist wie das bei so einem HV-Cluster mit der Ressourcenverteilung ist….
Grundsätzlich hat man dann ja immer eine komplette Spiegelung der Programme/Dienste/Dateien auf allen Hosts, soweit gut. Die Frage die ich mir jetzt stelle ist wie so ein Cluster mit den Ressourcen der einzelnen Hosts umgeht…?
Ich meine damit, ob dann immer alle benötigten Programme/Dienste zusammen auf einem Host laufen müssen und die anderen Hosts dann nur als Spiegelung bereit stehen für den Fall eines Ausfalls oder kann man die laufenden Dienste auch auf die Hosts verteilen, so dass man dann auch eine bessere Ressourcenausnutzung hat?
Z.B. Frigate und Bitwarden auf Host 1, PiHole, Pfsense und WireGuard auf Host 2, usw….
Falls das möglich ist, wie würde der Cluster sich dann bei einem Ausfall eines Hosts verhalten? Würde er dann die ausgefallenen Dienste einfach auf einem anderen Host starten, oder…? Dann müsste wiederum sichergestellt sein, dass jedes Host genügend Ressourcen hat, um alle Dienste laufen lassen zu können, für den Fall der Fälle?
Ich hoffe ich konnte meine Gedanken jetzt irgendwie klar übermitteln 🙂
Dein Angebot über eine Zusammenstellung deiner VM-Config würde ich gerne annehmen.
Danke
BG
Lukas · 4. Juni 2024 um 07:56
Hi, guten Morgen,
wie gesagt, die 800 ist von mir geschätzt bei Volllast. Gemessen habe ich es einfach nie. Daher solltest du den Wert keinesfalls zu genau nehmen.
Also, wenn du ein Hochverfügbarkeitscluster hast, dann brauchst du auch einen gemeinsamen Speicher. Bei mir ist es das NAS. Dort liegen die VMs und können von allen Servern gleichberechtigt genutzt werden.
Als Anwender stelle ich ein, wo welche VM bevorzugt laufen soll. Erst im Notfall wird dann nach meinen Regeln verschoben. Das bedeutet, dass du auch keine Kopien deiner VMs hast. Sondern wirklich immer nur einen Stand.
Stürzt nun Server 1 ab, entscheiden Server 2 und 3 darüber, die VM auf Server 2 neu zu starten. Das ist der gesamte Prozess. Du musst also deine Ressourcen nicht zwangsläufig doppelt vorhalten. Sehr wohl musst du aber bedenken, dass wenn Server 2 alles von Server 1 übernehmen können soll, dass Server 2 entsprechend die Ressourcen dafür braucht.
Ich habe zum Beispiel meine Dienste auf beide Server verteilt. Um die Auslastung etwa gleich zu halten. Im Notfall werden bei mir auch nicht alle VMs über Hochverfügbarkeit wiederhergestellt, sondern wirklich nur die wichtigsten. Das ist auch ein legitimer Ansatz, um auf Server 2 Ressourcen zu sparen beispielsweise.
Jetzt zu den VMs:
– Plex: 2 GB RAM, 4 CPU-Kerne
– Frigate: 4 GB RAM, 8 CPU-Kerne
– paperless ngx: 4 GB RAM, 8 CPU-Kerne (an den Kernen könnte man ggf. etwas einsparen)
– PiHole: 2 GB RAM, 4 CPU-Kerne
– ioBroker: 16 GB RAM, 8 CPU-Kerne
Wichtig zu wissen dabei ist, dass ich auch nicht immer genau nach Vorgabe alles einrichte. Gerade ioBroker ist bei mir zu Testzwecken erhöht worden. Auch Paperless braucht vielleicht nicht unbedingt 8 Kerne.
Aber so als Anhaltspunkt dürfte das sicherlich hilfreich sein.
Smarte Grüße
Spooky · 5. Juni 2024 um 21:05
Hi Lukas,
Vielen Dank, werde das mal alles auf Papier bringen und wenn ich die notwendige Zeit und die Hardware bereit habe, mal anfangen und schauen was daraus wird.
Werde mich dann vielleicht auch mal wieder hier melden 😉
Beste Grüße
Lukas · 6. Juni 2024 um 07:55
Hey,
ja unbedingt! Es würde mich sehr interessieren, was aus deinem Projekt Homelab wird und wie du es gestaltest.
Da führen ja auch viele Wege ans Ziel, weshalb das sehr individuell sein kann.
Bin auf jeden Fall gespannt und hoffe von dir zu lesen.
Smarte Grüße
DerekSengstock · 9. Januar 2023 um 11:38
Vielen Dank für Dein ausführliches Beispiel. Ich freue mich, zu erfahren, wie man zuverlässige EDV im Heimbereich realisiert. Diese Vorstellung eines Konzeptes fehlte mir bisher. Danke!
Lukas · 9. Januar 2023 um 13:15
Hallo Derek,
danke für dein positives Feedback zu meinem Artikel. In der Tat muss man sagen, dass dieses Setup für den reinen privaten Gebrauch schon sehr stark ist.
Aber andererseits tut man natürlich auch sehr viel für sein Hobby. Wer kennt es nicht?
Smarte Grüße