KI-Server kaufen: drei Konfigurationen für LLMs und Training

Was ist ein KI-Server und wer braucht einen?

Ein KI-Server ist ein Rack-Server, der für mehrere GPUs ausgelegt ist. Auf den Karten läuft das Modell. Zwei Server-Prozessoren versorgen sie mit Daten; ECC-Arbeitsspeicher und NVMe-Laufwerke halten Modelle und Datensätze bereit. Für Sprachmodelle heißt er oft auch LLM-Server. Unser 4U-E10G-GENOAX2 ist ein solcher Server: vier Höheneinheiten im 19-Zoll-Rack, bis zu acht GPUs, redundante Stromversorgung und Fernverwaltung über IPMI.

Ein eigener KI-Server lohnt sich vor allem in drei Fällen:

• Ihre Daten sollen im Haus bleiben. Personenbezogene, medizinische oder Finanzdaten können Sie oft nicht bei einem beliebigen Cloud-Anbieter verarbeiten lassen. Für die DSGVO zählt, wo sie verarbeitet werden und wer Zugriff hat. Mit eigener Hardware ist beides klar, ob im eigenen Rack oder in einer Colocation in der EU.
• Ein Modell läuft dauerhaft. Interner Chat, Dokumentensuche, eine API für Ihre Anwendungen: Für gemietete GPUs zahlen Sie jede Stunde, bei der eigenen Maschine bleiben nach dem Kauf Strom, Hosting und Wartung.
• Sie trainieren eigene Modelle oder passen sie per Fine-Tuning an. Auf eigener Hardware kostet ein weiteres Experiment keine Miete.

Soll die Maschine nicht in Ihren Räumen stehen, übernehmen wir die Colocation in einem Rechenzentrum in der EU.

Welches Modell auf welche Karte passt

Ob ein Modell läuft, entscheidet der Grafikspeicher (VRAM), nicht die Rechenleistung. Die Gewichte allein brauchen Parameterzahl mal Bytes pro Parameter:

Dazu kommen zwei Posten, die in Schätzungen oft fehlen:

• KV-Cache. Er wächst mit der Kontextlänge und der Zahl gleichzeitiger Anfragen. Bei einem Modell der 70B-Klasse sind es mit 8k Kontext und einer Anfrage rund 2,6 GB, mit 32k Kontext und 16 Anfragen rund 168 GB, also mehr als die Gewichte in FP16.
• Overhead. Framework, CUDA-Kontext und Fragmentierung brauchen 10-15 % zusätzlich.

Ein Beispiel: Ein 70B-Modell in INT8 mit 16k Kontext und bis zu acht gleichzeitigen Anfragen braucht rund 125 GB, nämlich 70 GB Gewichte, etwa 42 GB KV-Cache und etwa 13 GB Overhead. Das passt nicht auf eine Karte mit 96 GB. In INT4 sind es rund 90 GB, das passt.

Was nicht auf eine Karte mit 96 GB passt, braucht mehrere Karten oder eine H200 NVL mit 141 GB. Zwei Karten mit 48 GB ersetzen dabei keine mit 96 GB, denn ein aufgeteiltes Modell schickt jeden Token über die Verbindung zwischen den Karten.

Passt ein Modell sowohl auf die RTX 5090 als auch auf die RTX PRO 6000, generieren beide fast gleich schnell, denn beide haben rund 1,8 TB/s Speicherbandbreite. Den Aufpreis der PRO 6000 zahlen Sie für Kapazität, ECC und Server-Kühlung. Mehr dazu im Vergleich von RTX 5090 und RTX PRO 6000 und in der VRAM-Rechnung mit Formeln.

Die drei Konfigurationen im Vergleich

Alle drei basieren auf dem 4U-E10G-GENOAX2: zwei Prozessoren der Serie AMD EPYC 9004, PCIe 5.0 für jede Karte, 24 DIMM-Steckplätze und eine redundante Stromversorgung mit 6400 W (3+1). Sie unterscheiden sich bei Karten, Prozessoren und Arbeitsspeicher:

Welches Modell läuft, entscheiden die ersten vier Zeilen. Prozessoren und Arbeitsspeicher sind so gewählt, dass der Host die Karten nicht ausbremst: mindestens so viel Arbeitsspeicher wie VRAM und alle 24 Steckplätze belegt, damit jeder Speicherkanal genutzt wird. Die RTX 5090 ist die passiv gekühlte Server-Variante aus dem Konfigurator.

Die zweite Plattform ist der 4U-E10G-ROMEX2: bis zu zehn GPUs mit PCIe 4.0, zwei AMD EPYC 7003 und bis zu 8 TB DDR4. Er passt, wenn Karten pro Euro mehr zählen als PCIe 5.0, etwa für Inferenz-Farmen. Das „E10G“ steht in beiden Namen nicht für die Zahl der GPUs: Der GENOAX2 nimmt bis zu acht auf.

Kaufen oder mieten: Die Auslastung entscheidet

Die Antwort hängt von einer einzigen Zahl ab: wie viele Stunden im Monat die GPUs tatsächlich arbeiten. Unsere Rechnung mit wöchentlichen Median-Mietpreisen zeigt: Mieten gewinnt bei unregelmäßiger Nutzung oder wenn die GPUs weniger als etwa ein Drittel des Monats laufen. Kaufen gewinnt, wenn die Maschine die meiste Zeit laufen würde, und von da an wächst der Abstand schnell.

Zwei Punkte verschieben die Rechnung:

• Leerlauf. Eine eigene Maschine muss zwischen Ihren Jobs nicht stillstehen. Freie Stunden lassen sich über Marktplätze wie Vast.ai vermieten; auf Wunsch richten wir das bei der Lieferung ein.
• Wachstum. Gemietete Kapazität wächst in Minuten, eigene in Wochen: Beschaffung, Aufbau, Burn-in, Inbetriebnahme.

Wenn Mieten besser passt: Die NEOXIS AD, an der wir mit 5 % beteiligt sind, bietet die private Miete eines Servers mit 8× RTX PRO 6000 ab 1,70 $ pro GPU-Stunde an, Strom, Kühlung, Internet und Rack inklusive (neoxis.ai). Ihren eigenen Fall rechnet der GPU-ROI-Rechner mit wöchentlich aktualisierten Marktpreisen durch.

Was das Angebot enthält

• Auslegung auf Ihr Modell. Sie nennen Modell, Kontextlänge und gleichzeitige Nutzer. Wir prüfen die Konfiguration anhand der VRAM-Rechnung oben und begründen das Angebot.
• Aufbau und Stresstest. Unser Montagepartner baut den Server auf und testet ihn unter Volllast; auf Wunsch übernehmen wir das selbst. Vor dem Versand laufen alle GPUs mindestens 72 Stunden gemeinsam unter Volllast; dabei werden Thermik und Leistungsaufnahme protokolliert.
• Garantie. 3 Jahre auf alle Komponenten mit E-Mail- und Telefon-Support, gegen Aufpreis 5 Jahre.
• Antwortzeiten. Erste Antwort binnen 24 Stunden, das Angebot binnen 3 Werktagen. Erreichbar Mo-Fr, 09:00-18:00 Uhr (Ortszeit Sofia).

Was wir bisher gebaut haben

Acht davon gingen an einen Kunden, jeder mit acht RTX 5090, zusammen 64 Karten: montiert, unter Volllast getestet und ins Rechenzentrum gebracht. Konfiguration und Ablauf zeigt die Fallstudie zu den acht Servern.

Der neunte, ein 4U-E10G-GENOAX2 mit acht RTX PRO 6000 Blackwell, gehört der NEOXIS AD, an der Aura Digital als Mitgründer mit 5 % beteiligt ist. Er entspricht der großen Konfiguration aus dem Vergleich oben und läuft seit Juli 2026 in Colocation bei Sofia. Wie er die Verifizierung bei Vast.ai bestanden hat, beschreibt das NEOXIS-Projekt.

So läuft der Kauf ab

1. Konfiguration. Sie stellen im Konfigurator Karten, Prozessoren, Speicher und Laufwerke zusammen. Oder Sie beschreiben uns Modell und Last, und wir schlagen die Konfiguration vor.
2. Angebot. Binnen 3 Werktagen erhalten Sie ein individuelles Angebot mit Spezifikation und Preis.
3. Bestätigung. Die Verfügbarkeit der GPUs klären wir vor Ihrer Zusage, dann bestätigen Sie das Angebot.
4. Aufbau und Test. Montage durch unseren Montagepartner, Prüfung der PCIe-Topologie und mindestens 72 Stunden unter Volllast.
5. Lieferung. Rack-fertig innerhalb der EU, mit Rack-Schienen und Stromkabeln, oder direkt in die Colocation.