De Full-Stack SuperClusters omvatten lucht- en vloeistofgekoelde training- en cloud-scale inferentie rack-configuraties met de nieuwste NVIDIA Tensor Core GPU’s, netwerken en NVIDIA AI Enterprise-software.
SAN JOSE, Californië, 19 maart 2024 /PRNewswire/ — Supermicro, Inc. (NASDAQ: SMCI), een aanbieder van totale IT-oplossingen voor AI, cloud, opslag en 5G/Edge, kondigt zijn nieuwste portfolio aan om de inzet van generatieve AI te versnellen. De Supermicro SuperCluster-oplossingen bieden fundamentele bouwstenen in de huidige en toekomstige infrastructuur voor grote taalmodellen (LLM).
De drie krachtige Supermicro SuperCluster-oplossingen zijn nu beschikbaar voor generatieve AI-werklasten. De vloeistofgekoelde systemen van 4U of de luchtgekoelde systemen van 8U zijn speciaal gebouwd en ontworpen voor krachtige LLM-training, maar ook voor grote batches en LLM-inferentie met grote volumes. Een derde SuperCluster, met 1U luchtgekoelde Supermicro NVIDIA MGX™ -systemen, is geoptimaliseerd voor inferentie op cloudschaal.
“In het tijdperk van AI wordt de rekeneenheid nu gemeten door clusters, in plaats van alleen door het aantal servers. Met onze uitgebreide wereldwijde productiecapaciteit van 5.000 racks/maand kunnen we onze klanten sneller dan ooit complete generatieve AI-clusters leveren,” zegt Charles Liang, president en CEO van Supermicro. “Een cluster met 64 knooppunten maakt 512 NVIDIA HGX H200 GPU’s met 72 TB HBM3e mogelijk via een paar van onze schaalbare clusterbouwstenen met 400 Gb/s NVIDIA Quantum-2 InfiniBand en Spectrum-X Ethernet-netwerken. Supermicro’s SuperCluster-oplossingen in combinatie met NVIDIA AI Enterprise-software zijn ideaal voor bedrijfs- en cloudinfrastructuren om de huidige LLM’s te trainen met tot biljoenen parameters. De onderling verbonden GPU’s, CPU’s, geheugen, opslag en netwerken die worden ingezet op meerdere nodes in racks, vormen de basis van de hedendaagse AI. De SuperCluster-oplossingen van Supermicro bieden fundamentele bouwstenen voor snel evoluerende generatieve AI en LLM’s.”
Ga voor meer informatie over de Supermicro AI SuperClusters naar: www.supermicro.com/ai-supercluster
“NVIDIA’s nieuwste GPU-, CPU-, netwerk- en softwaretechnologieën stellen systeemmakers in staat om een reeks AI-workloads van de volgende generatie te versnellen voor wereldwijde markten,” zegt Kaustubh Sanghani, vicepresident GPU Product Management bij NVIDIA. “Door gebruik te maken van het versnelde NVIDIA-computerplatform met op de Blackwell architectuur gebaseerde producten, voorziet Supermicro klanten van de geavanceerde serversystemen die ze nodig hebben en die eenvoudig kunnen worden ingezet in datacenters.”
Supermicro 4U NVIDIA HGX H100/H200 8-GPU -systemen verdubbelen de dichtheid van het 8U-luchtgekoelde systeem door gebruik te maken van vloeistofkoeling, waardoor het energieverbruik afneemt en de totale eigendomskosten van datacenters minder worden. Deze systemen zijn ontworpen om de volgende generatie GPU’s op basis van de NVIDIA Blackwell-architectuur te ondersteunen. De Supermicro koeldistributie-eenheid (CDU) en -manifold (CDM) zijn de belangrijkste slagaders voor het distribueren van gekoelde vloeistof naar Supermicro’s aangepaste direct-to-chip (D2C) koude platen. Hiermee worden GPU’s en CPU’s op optimale temperatuur gehouden, zodat ze maximale prestaties leveren. Met deze koeltechnologie kunnen de elektriciteitskosten voor het hele datacenter met wel 40% worden verlaagd en is er minder ruimte nodig in het gebouw. Meer informatie over Supermicro Liquid Cooling-technologie: https://www.supermicro.com/en/solutions/liquid-cooling
Systemen met NVIDIA HGX H100/H200 8-GPU-technologie zijn ideaal voor het trainen van Generative Al. De snelle, onderling verbonden GPU’s via NVIDIA® NVLink®, de hoge bandbreedte en capaciteit van het GPU-geheugen zijn essentieel voor het kosteneffectief uitvoeren van LLM-modellen. De Supermicro SuperCluster creëert een enorme pool van GPU-resources die werken als een enkele AI-supercomputer.
Of het nu gaat om het aanpassen van een enorm funderingsmodel dat is getraind op een dataset met biljoenen tokens of het bouwen van een LLM-inferentie-infrastructuur op cloudschaal, de ruggengraat- en bladtopologie met niet-blokkerende 400Gb/s netwerkweefsels maakt het mogelijk om naadloos van 32 knooppunten naar duizenden knooppunten op te schalen. Met volledig geïntegreerde vloeistofkoeling worden de operationele effectiviteit en efficiëntie vóór verzending grondig bewezen in Supermicro’s testprocessen.
Supermicro’s NVIDIA MGX™-systeemontwerpen met de NVIDIA GH200 Grace Hopper Superchips creëren een blauwdruk voor toekomstige AI-clusters die een cruciaal knelpunt in Generative Al aanpakken: de bandbreedte en capaciteit van het GPU-geheugen voor het uitvoeren van grote taalmodellen (LLM) met grote inferentiebatches om de operationele kosten te verlagen. De 256-node cluster maakt het een inferentiekrachtpatser in de cloud voor grote volumes, die eenvoudig inzetbaar en schaalbaar is.
SuperCluster met 4U vloeistofgekoeld systeem in 5 racks of 8U luchtgekoeld systeem in 9 racks
- 256 NVIDIA H100/H200 Tensor Core GPU’s in één schaalbare eenheid
- Vloeistofkoeling maakt 512 GPU’s en 64 knooppunten mogelijk in dezelfde ruimte als de luchtgekoelde oplossing met 256 GPU’s en 32 knooppunten
- 20 TB HBM3 met NVIDIA H100 of 36 TB HBM3e met NVIDIA H200 in één schaalbare eenheid
- Een-op-een-netwerken leveren tot 400 Gbps aan elke GPU om GPUDirect RDMA en opslag te realiseren voor het trainen van grote taalmodellen met tot biljoenen parameters
- 400G InfiniBand of 400GbE Ethernet switch-netwerkweefsels met zeer schaalbare ruggengraat- en bladtopologie, inclusief NVIDIA Quantum-2 InfiniBand en NVIDIA Spectrum-X Ethernet-platform.
- Aanpasbare AI-datapijplijn opslagstructuur met toonaangevende parallelle bestandssysteemopties
- NVIDIA AI Enterprise 5.0 software, die ondersteuning biedt voor de nieuwe NVIDIA NIM inferentie microservices die de inzet van AI-modellen op schaal versnellen.
SuperCluster met 1U luchtgekoeld NVIDIA MGX-systeem in 9 racks
- 256 GH200 Grace Hopper Superchips in één schaalbare eenheid
- Tot 144 GB HBM3e + 480 GB LPDDR5X gecombineerd geheugen, geschikt voor de cloud, grote volumes, lage latency en grote batches, in staat om een 70B+ parametermodel in te passen in één knooppunt.
- 400G InfiniBand of 400GbE Ethernet switch-netwerkweefsel met zeer schaalbare ruggengraat-bladtopologie
- Tot 8 ingebouwde E1.S NVMe opslagapparaten per knooppunt
- Aanpasbare AI-datapijplijn opslagstructuur met NVIDIA BlueField®-3 DPU’s en toonaangevende parallelle bestandssysteemopties voor het leveren van hoge doorvoer en low-latency opslagtoegang tot elke GPU.
- NVIDIA AI Enterprise 5.0-software
Met de hoogst haalbare netwerkprestaties voor GPU-GPU-connectiviteit zijn Supermicro’s SuperCluster-oplossingen geoptimaliseerd voor LLM-training, deep learning en inferentie met hoge volumes en grote batches. Supermicro’s L11- en L12-validatietests in combinatie met de implementatiedienst op locatie bieden klanten een naadloze ervaring. Klanten ontvangen plug-and-play schaalbare eenheden voor eenvoudige implementatie in een datacenter en snellere resultaten.
Over Super Micro Computer, Inc.
Supermicro (NASDAQ: SMCI) is een wereldwijd toonaangevend bedrijf op het gebied van allesomvattende IT-oplossingen met toepassingsoptimalisatie. Supermicro is opgericht en gevestigd in San Jose, Californië. Het bedrijf streeft ernaar om first-to-market innovatie te leveren voor Enterprise-, Cloud-, AI- en 5G Telco/Edge IT-infrastructuur. Wij zijn een Total IT Solutions Manufacturer en leveren server-, AI-, opslag-, IoT- en switchsystemen, software en ondersteuningsdiensten. Supermicro’s deskundigheid op het gebied van moederbord-, voeding- en chassisontwerp maakt onze ontwikkeling en productie verder mogelijk, zodat wij innovatie van de volgende generatie, van cloud tot edge, kunnen realiseren voor onze wereldwijde klanten. Onze producten worden in eigen huis ontworpen en geproduceerd (in de VS, Taiwan en Nederland). Hierbij maken we gebruik van wereldwijde faciliteiten voor schaal en efficiëntie, geoptimaliseerd om de TCO te verlagen en de impact op het milieu te verminderen (Green Computing). Het bekroonde portfolio van Server Building Block Solutions® stelt klanten in staat hun systeem te optimaliseren voor hun exacte workload en toepassing door een keuze te maken uit een brede selectie van systemen die zijn opgebouwd uit onze flexibele en herbruikbare bouwstenen, met ondersteuning van een grote verscheidenheid van vormfactoren, processors, geheugen, GPU’s en opslag-, netwerk-, voedings- en koeloplossingen (airconditioning, vrije luchtkoeling of vloeistofkoeling).
Supermicro, Server Building Block Solutions en We Keep IT Green zijn handelsmerken en/of gedeponeerde handelsmerken van Super Micro Computer, Inc.
Alle andere merken, namen en handelsmerken zijn eigendom van de respectieve eigenaars.
Foto – https://mma.prnewswire.com/media/2365342/Super_Micro_Computer_Inc.jpg
Logo – https://mma.prnewswire.com/media/1443241/Supermicro_Logo.jpg
