Lokaler LLM-Hardware-Leitfaden 2025: Preise und Spezifikationen
Die Landschaft für die lokale LLM-Bereitstellung im August 2025 bietet mehrere Hardwarepfade, von Consumer-GPUs bis hin zu Lösungen für Rechenzentren in Unternehmen, mit dramatischen Preisunterschieden und Leistungskonflikten, die die Bereitstellungsentscheidungen entscheidend beeinflussen. Die wichtigste Erkenntnis ist, dass Dual-RTX-5090-Konfigurationen jetzt die Leistung von H100 für 70B-Modelle zu 25 % der Kosten erreichen, was die Wirtschaftlichkeit der lokalen Bereitstellung grundlegend verändert.
Consumer-Hardware hat eine Leistungsschwelle erreicht, bei der ernsthafte Produktionseinsätze möglich sind. Der 32 GB große VRAM der RTX 5090 ermöglicht die Ausführung von quantisierten 70B-Modellen auf einem einzigen Grafikprozessor, während die M3 Ultra von Apple mit 512 GB Unified Memory sogar 671B-Parameter-Modelle mit Quantisierung verarbeiten kann. Optionen für Unternehmen wie die B200 bieten eine bessere Leistung, sind aber mit erheblichen Lieferengpässen und hohen Preisen konfrontiert, die die Investition für viele Anwendungsfälle nicht rechtfertigen.
Apples Silizium-Spezifikationen verändern die Zugänglichkeit von Großmodellen.
Mac Studio M3 Ultra Preise und Speicherkonfigurationen
Die Preise für den Mac Studio M3 Ultra beginnen bei 3.999 Euro für die Basiskonfiguration mit 28-Core-CPU und 96 GB Arbeitsspeicher. Die kritische 192-GB-Option ist nicht direkt verfügbar - Benutzer müssen die 256-GB-Konfiguration für zusätzliche 1.500 US-Dollar wählen, was den Gesamtpreis auf 5.499 US-Dollar erhöht. Die maximale 512-GB-Konfiguration kostet 2.400 Euro mehr als die 256-GB-Option, so dass der Preis für die Top-Speicherkonfiguration mit 1 TB Speicher 9.499 Euro beträgt. Ein voll ausgestattetes System mit 512 GB RAM und 16 TB Speicherplatz kostet 14.099 US-Dollar.
Die Speicherbandbreite des M3 Ultra von 819 GB/s erweist sich als entscheidend für LLM-Inferenzen und übertrifft herkömmliche CPU+GPU-Architekturen, bei denen die Daten über PCIe-Busse übertragen werden müssen. Die Neural Engine mit 32 Kernen liefert 38 Billionen Operationen pro Sekunde, während die Thunderbolt 5-Unterstützung eine Datenübertragung von 120 GB/s für potenzielle Clustering-Konfigurationen ermöglicht.
Mac Mini M4 Clustering bietet eine budgetfreundliche Skalierbarkeit.
Die Preise für den Mac Mini M4 beginnen bei 599 Euro für die Basiskonfiguration mit 10 Prozessorkernen und 16 GB Arbeitsspeicher (aufrüstbar auf 32 GB). Die M4 Pro Variante für 1.399 Euro bietet 24 GB Basisspeicher, der auf 64 GB erweitert werden kann, mit einer Speicherbandbreite von 273 GB/s, die die LLM-Leistung deutlich verbessert. Praxistests zeigen, dass ein einzelner M4 Pro mit 64 GB RAM Qwen 2.5 32B mit 11-12 Token/Sekunde ausführt, was für viele Produktionsanwendungen ausreicht.
Exo Labs demonstrierte ein effektives Clustering mit 4 Mac Mini M4 (je 599 $) und einem MacBook Pro M4 Max, wodurch 496 GB vereinheitlichter Speicher für weniger als 5.000 $ erreicht wurden. Auf diesem System läuft Qwen 2.5 Coder-32B mit 18 Token/Sekunde und Nemotron-70B mit acht Token/Sekunde. Einzelne High-End-Mac-Studios übertreffen Mac Mini-Cluster jedoch in der Regel aufgrund der höheren Speicherbandbreite und des geringeren Kommunikations-Overheads zwischen den Geräten.
NVIDIA GPU-Preise spiegeln starke Marktverzerrungen wider
RTX 5090 erzielt trotz $1.999 MSRP massive Prämien
Die RTX 5090 wird offiziell für $1.999 für die Founders Edition gelistet, aber die Straßenpreise reichen von $2.500 bis $3.800 für AIB-Modelle. Die ASUS ROG Astral wird für 2.799,99 $ verkauft, sobald sie verfügbar ist, wobei Custom-Modelle routinemäßig über 3.000 $ liegen. Der 32 GB GDDR7-VRAM der Karte mit einer Bandbreite von 1.792 GB/s ermöglicht die Ausführung von 70B-Parameter-Modellen mit Quantisierung auf einer einzigen GPU.
Leistungsbenchmarks zeigen, dass der RTX 5090 bei Qwen2.5-Coder-7B (Stapelgröße 8) 5.841 Token/Sekunde erreicht, was der 2,6-fachen Leistung eines A100 80GB entspricht. Bei 70B-Modellen erreichen duale RTX 5090-Konfigurationen eine Evaluierungsrate von 27 Token/Sekunde und entsprechen damit der H100-Leistung zu einem Bruchteil der Kosten. Der TDP von 575 W erfordert Netzteile mit 1200 W+ und robuste Kühllösungen.
Die Preise für Unternehmens-GPUs sind nach wie vor stratosphärisch hoch.
Der H200-Grafikprozessor kostet 40.000 bis 55.000 US-Dollar pro Einheit über Vertriebspartner, wobei die Cloud-Tarife bei 3,72 bis 10,60 US-Dollar pro Stunde liegen. Mit 141 GB HBM3e-Speicher und 4,8 TB/s Bandbreite verfügt sie über 76 % mehr Speicher und 43 % mehr Bandbreite als die H100. Die neuere B200 kostet zwischen 30.000 und 35.000 US-Dollar, obwohl sie 192 GB HBM3e und 8 TB/s Bandbreite bietet, obwohl die Verfügbarkeit mit 3-6 Monaten Vorlaufzeit stark eingeschränkt ist.
Der B100, der als Drop-in-Ersatz für den H100 mit 192 GB Speicher und 700 W TDP positioniert ist, hat einen ähnlichen Preis von 30.000 bis 35.000 US-Dollar. Berichten zufolge ist die gesamte Blackwell-Produktion bis 2025 ausverkauft, wobei TSMC die Bestellungen von 40.000 auf 60.000 Einheiten erhöht hat, um die Nachfrage zu decken.
DGX-Systeme erreichen Preise im Bereich von einer halben Million Dollar
Das DGX H200-System mit 8 GPUs und 1.128 GB Gesamtspeicher kostet 400.000 bis 500.000 US-Dollar, während der neuere DGX B200 von Broadberry für 515.410 US-Dollar angeboten wird. Das B200-System liefert 72 PFLOPS FP8-Trainings- und 144 PFLOPS FP4-Inferenzleistung, was einer dreifachen Trainings- und 15-fachen Inferenzverbesserung gegenüber dem DGX H100 entspricht.
Der GB200 Superchip, der zwei B200-GPUs mit einer Grace-CPU kombiniert, kostet zwischen 60.000 und 70.000 US-Dollar pro Einheit. Systeme im Rack-Maßstab wie der GB200 NVL72 mit 72 GPUs kosten bis zu 3 Millionen US-Dollar und zielen auf Hyperscale-Implementierungen ab.
Der Speicherbedarf diktiert die Strategien zur Auswahl der Hardware.
Unquantisierte Modellspeicheranforderungen übersteigen die meisten Einzelsysteme.
Die Ausführung von 70B-Parameter-Modellen in FP16-Präzision erfordert ca. 148 GB VRAM plus 20 % Overhead für Aktivierungen, also insgesamt 178 GB. Bei 128K-Kontext fügt der KV-Cache weitere 39 GB hinzu, wodurch die Anforderungen auf über 200 GB steigen, was entweder mehrere GPUs (2× H100 80 GB oder 4× A100 40 GB) oder eine aggressive Quantisierung erforderlich macht.
405B-Parameter-Modelle erfordern 810 GB für das Basismodell in FP16, wobei die Gesamtanforderungen an 1 TB heranreichen, einschließlich Overhead und KV-Cache. Diese Modelle erfordern den Einsatz von mehreren Knoten oder FP8-Quantisierung auf 8× H100-Systemen. Die Modelle 671B Nemotron und DeepSeek-R1 benötigen 1,3-1,4 TB im FP16, was eine Infrastruktur im Rechenzentrumsmaßstab oder eine aggressive Quantisierung auf 700 GB im FP8 erfordert.
Quantisierung transformiert Einsatzwirtschaft.
Die GGUF-Quantisierung reduziert den Speicherbedarf mit Q4_K_M um das Vierfache, wobei die Qualität für die meisten Anwendungsfälle akzeptabel bleibt. Q5_K_M bietet eine 3,2-fache Reduzierung bei minimaler Verschlechterung. Dieses Format schneidet bei CPU und Apple Silicon besonders gut ab und ist daher ideal für Edge-Anwendungen.
AWQ (Activation-aware Weight Quantization) spart das Vierfache an Speicherplatz bei besserer Qualitätserhaltung als GPTQ und läuft auf GPUs oft doppelt so schnell. Es ist besonders effektiv für anweisungsabgestimmte Modelle, bei denen die Beibehaltung der Antwortqualität entscheidend ist.
Die FP8-Quantisierung auf H100/H200/B200-Hardware bietet eine zweifache Speicherreduzierung bei minimalem Qualitätsverlust, da viele neuere Modelle nativ in FP8 trainiert werden, was die Ausführung von 405B-Modellen auf einzelnen 8-GPU-Knoten unter Beibehaltung einer nahezu vollständigen Präzisionsleistung ermöglicht.
Die Bereitstellungsarchitekturen variieren je nach Anwendungsfall erheblich.
Für den Kundendienst hat die Reaktionszeit Vorrang vor der Modellgröße.
Für Kundendienstanwendungen, die Antworten unter 2 Sekunden erfordern, bietet Llama 3.1 8B in FP16 auf einer einzelnen A10G oder L4 GPU (16 GB VRAM) ein optimales Preis-Leistungs-Verhältnis. Für qualitativ hochwertigere Antworten bietet Llama 3.1 70B mit AWQ 4-Bit-Quantisierung auf zwei A100 80GB-GPUs eine Leistung auf Unternehmensniveau bei 35GB pro GPU-Nutzung.
vLLM mit Tensor-Parallelität und kontinuierlicher Stapelverarbeitung maximiert den Durchsatz, während Pre-Warming und aggressive KV-Cache-Verwaltung die Latenz beim ersten Token minimieren. Die meisten erfolgreichen Implementierungen implementieren ein hybrides Routing, bei dem 70 % der Abfragen an kleinere Modelle gesendet und größere Modelle für komplexe Anfragen reserviert werden.
Die Codegenerierung erfordert umfangreiche Kontextfenster.
Codegenerierungs-Workloads erfordern 32K-128K Kontextlängen, was die Speicheranforderungen deutlich erhöht. Llama 3.1 70B in FP16 auf 4× A100 80GB GPUs verarbeitet vollen Kontext mit 40GB+ für KV-Cache reserviert. DeepSeek-Coder-Modelle, die explizit für Code-Aufgaben trainiert wurden, übertreffen oft größere allgemeine Modelle.
Tensor-Parallelität mit einem Knoten und schnellem NVMe-Speicher für das Laden von Modellen erweist sich als besonders effektiv. Viele Teams berichten über den Erfolg von Mac Studio M3 Ultra Systemen für die Entwicklung, die 512 GB Unified Memory nutzen, um vor dem Produktionseinsatz mit größeren Modellen zu experimentieren.
Forschungsanwendungen erfordern höchste Präzision.
In der Forschung wird der Genauigkeit Vorrang vor den Kosten eingeräumt, wobei in der Regel Llama 3.1 405B in FP8 auf 8× H100-Systemen oder DeepSeek-R1 671B für fortgeschrittene Schlussfolgerungen eingesetzt wird. Diese Konfigurationen vermeiden eine aggressive Quantisierung, um die Reproduzierbarkeit und die maximale Modellfähigkeit zu erhalten.
Zu den Infrastrukturanforderungen gehören Multi-Node-Setups mit InfiniBand-Verbindungen und Kühlung in Unternehmensqualität. Viele Forschungseinrichtungen schätzen die Apple M3 Ultra Systeme für Experimente, da der 512 GB große einheitliche Arbeitsspeicher das Laden von Modellen ermöglicht, für die andernorts mehrere Grafikprozessoren erforderlich wären.
Bei der Erstellung von Inhalten werden Kreativität und Konsistenz in Einklang gebracht.
Bei der Erstellung von Inhalten wird in der Regel Llama 3.1 70B in FP16 für ausgewogene Kreativität und Konsistenz oder Mixtral 8x7B mit GPTQ 4-Bit-Quantisierung für eine kostengünstige Stapelverarbeitung verwendet. Sampling mit höherer Temperatur und verschiedene Prompt-Engineering-Methoden fördern kreative Ergebnisse bei gleichzeitiger Wahrung der Konsistenz der Markenstimme.
Die Planung von Spitzenkapazitäten erweist sich als unerlässlich, da kreative Workflows oft extreme Nutzungsspitzen aufweisen. Viele Bereitstellungen implementieren Warteschlangen-basierte Architekturen, die je nach Bedarf von 1 bis 10+ GPUs skaliert werden können.
Die Gesamtbetriebskosten zeigen überraschende Deckungsbeiträge.
Die Kosten für die Anschaffung von Hardware sind je nach Klasse sehr unterschiedlich.
Consumer-GPUs reichen von 1.600 bis 2.000 US-Dollar für eine RTX 4090 bis zu 2.000 bis 3.800 US-Dollar für eine RTX 5090, wobei die Verfügbarkeit weiterhin problematisch ist. GPUs für Unternehmen kosten 25.000 bis 30.000 US-Dollar für H100 und 30.000 bis 40.000 US-Dollar für B200. Apple M3 Ultra Systeme mit sinnvollen Speicherkonfigurationen kosten zwischen 7.000 und 10.000 US-Dollar.
Cloud-Instanzen bieten sofortige Verfügbarkeit zu 0,89 US-Dollar/Stunde für RTX 5090, 1,90 bis 3,50 US-Dollar/Stunde für H100- und 4,00 bis 6,00 US-Dollar/Stunde für B200-Systeme. Die drastische Senkung des H100-Preises von über 8 $/Stunde Anfang 2025 spiegelt die verbesserte Verfügbarkeit und den Wettbewerb wider.
Die Betriebskosten gehen über die Hardware hinaus.
Der Stromverbrauch reicht von 215 W für Apple M3 Ultra Systeme bis zu 1000 W für B200 GPUs, mit Stromkosten von 0,10 bis 0,30 $/kWh. Die Kühlung verursacht zusätzliche Kosten in Höhe von 15-30 %, während die Netzwerkinfrastruktur für Multi-GPU-Konfigurationen eine Konnektivität von 10 Gbps+ erfordert. Die Personalkosten für MLOps-Ingenieure belaufen sich auf durchschnittlich 135.000 $/Jahr, wobei die Einhaltung von Vorschriften in regulierten Branchen 5-15 % ausmacht.
Der Break-even-Punkt für Self-Hosting im Vergleich zur API-Nutzung liegt in der Regel bei 2 Millionen Token pro Tag, wobei eine angemessene Hardwareauslastung von über 70 % für die Kosteneffizienz entscheidend ist. Ein Fintech-Unternehmen reduzierte seine Kosten um 83 %, indem es von 47.000 $/Monat auf GPT-4o Mini auf 8.000 $/Monat mit einem hybriden Ansatz von Claude Haiku plus selbst gehostetem 7B-Modell umstieg.
Leistungsbenchmarks zeigen die Stärken der Plattform auf.
Neueste Inferenzgeschwindigkeiten begünstigen neuere Architekturen.
Der RTX 5090 erreicht bei Qwen2.5-Coder-7B 5.841 Token/Sekunde und demonstriert damit eine 72%ige Verbesserung gegenüber dem RTX 4090 bei NLP-Aufgaben. Kleine Modelle wie Qwen2-0.5B erreichen erstaunliche 65.000+ Token/Sekunde, was einen enormen Durchsatz für einfache Aufgaben ermöglicht.
B200-Systeme bieten eine 15-fache Verbesserung der Inferenz im Vergleich zu H100, während H200 mit seiner erhöhten Speicherbandbreite eine 2-fache Beschleunigung ermöglicht. Apple M3 Ultra erreicht 76 Token/Sekunde auf LLaMA-3 8B Q4_K_M, während der kommende M4 Max voraussichtlich 96-100 Token/Sekunde erreichen wird.
Die Wahl des Rahmens hat erhebliche Auswirkungen auf die Leistung.
vLLM 0.6.0 bietet eine 2,7-fache Verbesserung des Durchsatzes und eine 5-fache Reduzierung der Latenzzeit im Vergleich zu früheren Versionen und erreicht 2.300-2.500 Token/Sekunde für Llama 8B auf H100. Mit PagedAttention wird die Speicherfragmentierung um 60-80% reduziert, was für den Produktionseinsatz entscheidend ist.
Llama.cpp bietet 93,6-100,2 % der vLLM-Leistung für einzelne Anfragen und bietet gleichzeitig eine hervorragende CPU- und Apple-Silicon-Optimierung. Die umfangreichen Quantisierungsoptionen und der geringere Speicher-Overhead machen es ideal für Edge-Einsätze.
Die Stromverbrauchskennzahlen verbessern sich drastisch.
Moderne H100-Systeme mit vLLM erreichen 0,39 Joule pro Token für Llama-3.3-70B FP8, was einer 120-fach besseren Effizienz als die häufig zitierten ChatGPT-Schätzungen entspricht. Die RTX 5090 verbraucht 28 % mehr Strom als die RTX 4090 und bietet gleichzeitig eine 72 % bessere Leistung, was die Gesamteffizienz erheblich verbessert.
FP8- und FP4-Quantisierung reduzieren den Stromverbrauch um 30-50 % bei gleichbleibend akzeptabler Qualität. Software-Optimierungen durch vLLM und TensorRT-LLM bieten zusätzliche Effizienzgewinne, wobei einige Implementierungen eine 10-fache Verbesserung gegenüber den 2023-Baselines melden.
Multi-Node-Einsätze ermöglichen die Ausführung von Frontier-Modellen.
Die Hardwareanforderungen steigen exponentiell mit der Modellgröße.
Einzelne GPUs bewältigen Modelle mit weniger als 80 GB VRAM effektiv. Single-Node-Multi-GPU-Konfigurationen mit 2-8 GPUs, die über NVLink verbunden sind, funktionieren gut bis zu 640 GB Gesamt-VRAM (8× H100-Limit). Jenseits dieser Grenze werden Multi-Node-Implementierungen erforderlich, die eine erhebliche Komplexität und einen Kommunikations-Overhead mit sich bringen.
Für 70B-Modelle können 4 Mac Minis M4 durch Clustering ausreichend Speicher bereitstellen, obwohl ein einzelner Mac Studio M3 Ultra in der Regel eine bessere Leistung liefert. Die 405B-Modelle erfordern immer eine verteilte Bereitstellung in FP16, während die 671B-Modelle eine Infrastruktur im Rechenzentrumsmaßstab erfordern, sofern sie nicht aggressiv quantisiert werden.
Parallelitätsstrategien optimieren verschiedene Szenarien.
Die Tensor-Parallelität teilt jede Schicht auf mehrere GPUs auf und sorgt so für niedrige Latenzzeiten durch parallele Berechnungen. Dieser Ansatz eignet sich hervorragend für einzelne Knoten, bei denen Verbindungsleitungen mit hoher Bandbreite wie NVLink den Kommunikations-Overhead minimieren. Konfigurieren Sie mit tensor_parallel_size gleich den GPUs pro Knoten für optimale Leistung.
Die Pipeline-Parallelität verteilt zusammenhängende Schichten auf die Knoten, wodurch die Kommunikationsanforderungen zwischen den Knoten reduziert werden. Dies führt zwar zu Pipeline-Blasen, die die Effizienz der autoregressiven Inferenz verringern, ermöglicht aber eine Skalierung über langsamere Verbindungen und unterstützt ungleichmäßige GPU-Speicherkonfigurationen.
Der hybride Ansatz von vLLM nutzt die Tensor-Parallelität innerhalb der Knoten und die Pipeline-Parallelität über die Knoten hinweg, um sowohl die lokale Bandbreite als auch die knotenübergreifende Effizienz zu maximieren.
Praktische Empfehlungen für den sofortigen Einsatz
Für Unternehmen, die täglich weniger als 1 Million Token verarbeiten, empfehle ich, bei API-Anbietern zu bleiben und das Nutzungswachstum zu beobachten. Die Komplexität und der Kapitalbedarf des Selbst-Hostings rechtfertigen die bescheidenen Einsparungen in dieser Größenordnung nicht.
Teams, die täglich 1-10 Millionen Token verarbeiten, sollten eine einzelne RTX 4090 oder RTX 5090 mit quantisierten Modellen in Betracht ziehen. Dieser "Sweet Spot" bietet ein ausgewogenes Verhältnis zwischen Kapitalinvestitionen und betrieblichen Einsparungen, die sich in der Regel innerhalb von 6-12 Monaten amortisieren.
Unternehmen, die täglich mehr als 10 Millionen Token verarbeiten, profitieren von dualen RTX 5090-Setups oder H100-Cloud-Instanzen mit reservierter Kapazität. Implementieren Sie hybride Routing-Strategien, bei denen einfache Abfragen an kleinere Modelle gesendet werden, während größere Modelle für komplexe Anfragen reserviert werden, was die Kosten um 10-30 % senkt.
Unternehmen, die Compliance-Anforderungen erfüllen müssen, sollten trotz des Aufpreises den lokalen H100/H200-Implementierungen den Vorzug geben, da die Kontroll- und Audit-Funktionen den zusätzlichen Kostenfaktor von 15 % für die Compliance-bezogene Infrastruktur und Prozesse rechtfertigen.
Forschungsteams und Entwickler profitieren am meisten von Apple M3 Ultra Systemen mit 512 GB Arbeitsspeicher, die Experimente mit Modellen ermöglichen, für die sonst teure Multi-GPU-Setups erforderlich wären. Auch wenn die Inferenzgeschwindigkeiten hinter den NVIDIA-Lösungen zurückbleiben, bietet die einheitliche Speicherarchitektur einzigartige Vorteile für die Modellentwicklung und -prüfung.
Referenzen
Kernmodell Dokumentation
DeepSeek AI. "DeepSeek-V3 Technical Report". arXiv Preprint, Dezember 2024. https://arxiv.org/html/2412.19437v1.
Meta. "Die Llama 4-Herde: Der Beginn einer neuen Ära der nativen multimodalen KI-Innovation". Meta AI Blog, April 2025. https://ai.meta.com/blog/llama-4-multimodal-intelligence/..
Google-Entwickler. "Einführung von Gemma 3: Der Leitfaden für Entwickler". Google Developers Blog, 2025. https://developers.googleblog.com/en/introducing-gemma3/..
Alibaba Cloud. "Qwen3: Tiefer denken, schneller handeln." Qwen (Blog). Accessed August 13, 2025. https://qwenlm.github.io/blog/qwen3/..
Hardware und Infrastruktur
NVIDIA. "DGX H200." NVIDIA Data Center. Zugriff am 13. August 2025. https://www.nvidia.com/en-us/data-center/dgx-h200/ ..
NVIDIA Entwickler. "NVIDIA Blackwell Platform setzt neue LLM-Inferenzrekorde in MLPerf Inference v4.1". NVIDIA Technical Blog, 2025. https://developer.nvidia.com/blog/nvidia-blackwell-platform-sets-new-llm-inference-records-in-mlperf-inference-v4-1/..
Kreativ-Strategien. "Apple Mac Studio mit M3 Ultra im Test: Die ultimative KI-Entwickler-Workstation." Creative Strategies, 2025. https://creativestrategies.com/mac-studio-m3-ultra-ai-workstation-review/.
Servier-Rahmenwerke
vLLM. "vLLM V1: Ein bedeutendes Upgrade der vLLM-Kernarchitektur." vLLM Blog, 27. Januar 2025. https://blog.vllm.ai/2025/01/27/v1-alpha-release.html.
NVIDIA. "TensorRT-LLM". GitHub Repository. GitHub, 2025. https://github.com/NVIDIA/TensorRT-LLM..
Gesicht umarmen. "Introducing Multi-Backends (TRT-LLM, vLLM) Support for Text Generation Inference." Hugging Face Blog, 2025. https://huggingface.co/blog/tgi-multi-backend.
Marktanalyse und Fallstudien
Menlo Ventures. "2025 Mid-Year LLM Market Update: Foundation Model Landscape + Economics." Menlo Ventures, 2025. https://menlovc.com/perspective/2025-mid-year-llm-market-update/.
ZenML. "LLMOps in der Produktion: 457 Fallstudien, die zeigen, was tatsächlich funktioniert." ZenML Blog, 2025. https://www.zenml.io/blog/llmops-in-production-457-case-studies-of-what-actually-works..
Leitfäden zur Umsetzung
Red Hat. "Deployment-Ready Reasoning mit quantisierten DeepSeek-R1-Modellen". Red Hat Developer, März 2025. https://developers.redhat.com/articles/2025/03/03/deployment-ready-reasoning-quantized-deepseek-r1-models.
Yermagambet, Rasul. "Überwachung von Multi-Node-Clustern für LLM-Training mit Prometheus und Grafana". Medium, 2025. https://medium.com/@rasul.yermagambet/monitoring-multi-node-clusters-for-llm-training-with-prometheus-and-grafana-bea82da7f1db.
Der neue Stack. "Einführung in vLLM: Eine Hochleistungs-LLM-Serving-Engine." The New Stack, 2025. https://thenewstack.io/introduction-to-vllm-a-high-performance-llm-serving-engine/.
