Wnioskowanie AI i Obliczenia Głównego Nurtu dla Każdego Przedsiębiorstwa

Przyspiesz wydajność każdego obciążenia w przedsiębiorstwie dzięki GPU Tensor Core NVIDIA A30. Dzięki rdzeniom Tensor w architekturze NVIDIA Ampere i technologii Multi-Instance GPU (MIG) A30 zapewnia przyspieszenia w sposób bezpieczny w różnych obciążeniach, w tym wnioskowania AI na dużą skalę oraz aplikacji obliczeń o wysokiej wydajności (HPC). Łącząc szybką przepustowość pamięci i niskie zużycie energii w formacie PCIe — optymalnym dla serwerów głównego nurtu — A30 umożliwia utworzenie elastycznego centrum danych i dostarcza maksymalną wartość dla przedsiębiorstw.

Zobacz arkusz danych

Rozwiązanie Centrum Danych dla Nowoczesnego IT

Architektura NVIDIA Ampere jest częścią zintegrowanej platformy NVIDIA EGX™, która łączy elementy sprzętowe, sieciowe, oprogramowanie, biblioteki oraz zoptymalizowane modele i aplikacje AI z katalogu NVIDIA NGC™. Stanowiąc najsilniejszą platformę end-to-end AI i HPC dla centrów danych, umożliwia badaczom szybkie dostarczanie rezultatów w rzeczywistych warunkach i wdrażanie rozwiązań na dużą skalę.

Trening Uczenia Głębokiego

Szkolenie AI—Do 3 razy wyższa przepustowość niż V100 i 6 razy wyższa niż T4

Pre-trening BERT Large (normalizowany)

Szkolenie modeli AI dla wyzwań nowej generacji, takich jak AI konwersacyjna, wymaga ogromnej mocy obliczeniowej i skalowalności.

Rdzenie Tensor NVIDIA A30 z precyzją Tensor Float (TF32) zapewniają do 10 razy wyższą wydajność w porównaniu do NVIDIA T4 bez żadnych zmian w kodzie oraz dodatkowy wzrost o 2 razy dzięki automatycznej mieszanej precyzji i FP16, co daje łączny wzrost przepustowości o 20 razy. W połączeniu z NVIDIA® NVLink®, PCIe Gen4, siecią NVIDIA oraz NVIDIA Magnum IO™ SDK, możliwe jest skalowanie do tysięcy GPU.

Rdzenie Tensor i MIG umożliwiają dynamiczne wykorzystanie A30 w obciążeniach przez cały dzień. Może być wykorzystywany do wnioskowania produkcyjnego w szczytowym zapotrzebowaniu, a część GPU może być ponownie użyta do szybkiego ponownego trenowania tych samych modeli w godzinach poza szczytem.

NVIDIA ustanowiła wiele rekordów wydajności w MLPerf, ogólnoprzemysłowym benchmarku dla treningu AI.

 

Dowiedz się więcej o architekturze NVIDIA Ampere do treningu.

Wnioskowanie w Uczeniu Głębokim

A30 wykorzystuje przełomowe funkcje do optymalizacji obciążeń wnioskowania. Przyspiesza pełen zakres precyzji, od FP64 do TF32 i INT4. Obsługując do czterech MIGów na GPU, A30 umożliwia jednoczesne działanie wielu sieci w zabezpieczonych partycjach sprzętowych z zagwarantowaną jakością usług (QoS). Dodatkowo, wsparcie dla rzadkości strukturalnej przynosi do 2 razy większą wydajność na wierzchu już uzyskanych zysków wydajności wnioskowania A30.

Wiodąca na rynku wydajność AI NVIDII została zaprezentowana w MLPerf Inference. W połączeniu z serwerem wnioskowania NVIDIA Triton™, który z łatwością wdraża AI na dużą skalę, A30 przynosi tę przełomową wydajność do każdego przedsiębiorstwa.

 

Wnioskowanie AI—Do 3 razy wyższa przepustowość niż V100 w czasie rzeczywistym dla AI konwersacyjnej

Wnioskowanie BERT Large (normalizowane)
Przepustowość dla opóźnienia <10 ms.

Wnioskowanie AI—Ponad 3 razy wyższa przepustowość niż T4 w czasie rzeczywistym dla klasyfikacji obrazów

Wnioskowanie RN50 v1.5 (normalizowane)
Przepustowość dla opóźnienia <7 ms.

Obliczenia Wysokiej Wydajności (HPC)

HPC—Do 1,1 razy wyższa przepustowość niż V100 i 8 razy wyższa niż T4

LAMMPS (normalizowane)

Aby odkryć nową generację odkryć, naukowcy wykorzystują symulacje, aby lepiej zrozumieć otaczający nas świat.

NVIDIA A30 wyposażona jest w rdzenie Tensor FP64 architektury NVIDIA Ampere, które oferują największy skok w wydajności HPC od momentu wprowadzenia GPU. W połączeniu z 24 gigabajtami (GB) pamięci GPU o przepustowości 933 gigabajtów na sekundę (GB/s), badacze mogą szybko rozwiązywać obliczenia o podwójnej precyzji. Aplikacje HPC mogą również wykorzystywać TF32, aby osiągać wyższą przepustowość dla operacji mnożenia macierzy o pojedynczej precyzji.

Kombinacja rdzeni Tensor FP64 i MIG umożliwia instytucjom badawczym bezpieczne podział GPU, pozwalając wielu badaczom na dostęp do zasobów obliczeniowych z gwarantowaną jakością usług (QoS) i maksymalnym wykorzystaniem GPU. Przedsiębiorstwa wdrażające AI mogą korzystać z możliwości wnioskowania A30 podczas szczytowych okresów zapotrzebowania, a następnie ponownie wykorzystać te same serwery obliczeniowe do obciążeń HPC i treningu AI w godzinach poza szczytem.

 

Sprawdź Najnowszą Wydajność GPU w Aplikacjach HPC

Kluczowe zastosowania

Deep Learning Inference

Procesor graficzny NVIDIA A30 jest specjalnie zoptymalizowany pod kątem głębokiego uczenia się, zaspokajając wymagające potrzeby obliczeniowe wdrożeń sztucznej inteligencji w centrach danych. Zbudowany w oparciu o wydajną architekturę Ampere, A30 jest wyposażony w dużą liczbę rdzeni CUDA i rdzeni Tensor, umożliwiając przetwarzanie sieci neuronowych z wyjątkową szybkością i dokładnością. Ten procesor graficzny doskonale radzi sobie z obciążeniami wnioskowania na dużą skalę w różnych branżach, od przetwarzania języka naturalnego i rozpoznawania obrazów po systemy rekomendacji i pojazdy autonomiczne. Obsługa obliczeń o mieszanej precyzji przez A30 zwiększa wydajność, równoważąc dokładność obliczeń z wydajnością, zapewniając szybkie wyniki wnioskowania bez uszczerbku dla precyzji modelu. Integracja z zestawem narzędzi do optymalizacji wnioskowania TensorRT firmy NVIDIA jeszcze bardziej usprawnia wdrażanie i maksymalizuje przepustowość, ułatwiając przedsiębiorstwom efektywne skalowanie aplikacji AI. Ogólnie rzecz biorąc, procesor graficzny NVIDIA A30 to solidne rozwiązanie dla przedsiębiorstw, które chcą przyspieszyć swoje możliwości wnioskowania w zakresie głębokiego uczenia się, zapewniając doskonałą wydajność i skalowalność w środowiskach opartych na sztucznej inteligencji.

Analiza danych

Procesor graficzny NVIDIA A30 ma zrewolucjonizować wysokowydajną analizę danych dzięki swoim solidnym możliwościom i wydajnej architekturze Ampere. Dostosowany do wymagających aplikacji wymagających dużej ilości danych, A30 jest wyposażony w bogactwo rdzeni CUDA i rdzeni Tensor, które wyróżniają się przyspieszaniem złożonych zadań analitycznych, takich jak przetwarzanie danych na dużą skalę, uczenie maszynowe i analityka predykcyjna. Duża przepustowość pamięci i obsługa technologii NVIDIA NVLink zapewniają szybki dostęp do ogromnych zbiorów danych i ich przetwarzanie, umożliwiając organizacjom szybkie uzyskiwanie informacji i podejmowanie świadomych decyzji. Wszechstronność A30 obejmuje obsługę obliczeń o mieszanej precyzji, optymalizując wydajność obliczeniową bez utraty dokładności, która jest kluczowa dla wydajnej obsługi różnorodnych obciążeń. Zintegrowany z pakietem narzędzi programowych NVIDIA, takimi jak RAPIDS do przyspieszanych przez procesor graficzny procesów analizy danych i bibliotekami CUDA-X, A30 upraszcza wdrażanie i skalowanie rozwiązań do analizy danych w chmurze hybrydowej i środowiskach lokalnych. Ostatecznie procesor graficzny NVIDIA A30 ustanawia nowy standard w zakresie wysokowydajnej analizy danych, umożliwiając przedsiębiorstwom wydobywanie przydatnych wniosków szybciej i skuteczniej niż kiedykolwiek wcześniej.

High-Performance Computing (HPC)

Procesor graficzny NVIDIA A30 stanowi znaczący postęp w dziedzinie obliczeń o dużej wydajności (HPC), zaprojektowanych w celu zapewnienia niezrównanej mocy obliczeniowej i wydajności w szerokim zakresie zadań obliczeniowych. Zbudowany w oparciu o wydajną architekturę Ampere, A30 zawiera znaczną liczbę rdzeni CUDA i rdzeni Tensor, zoptymalizowanych do obsługi złożonych symulacji naukowych, analiz numerycznych i obliczeń wymagających dużej ilości danych z niezwykłą szybkością i dokładnością. Wysoka przepustowość pamięci i obsługa technologii NVIDIA NVLink umożliwiają bezproblemową komunikację pomiędzy procesorami graficznymi i innymi komponentami systemu, zwiększając ogólną wydajność i skalowalność systemu. Solidne możliwości obliczeniowe A30 sprawiają, że idealnie nadaje się do przyspieszania aplikacji w takich dziedzinach, jak fizyka, chemia, prognozowanie pogody i dynamika molekularna, gdzie krytyczne znaczenie ma szybkie przetwarzanie danych i symulacja. Integracja z platformą obliczeń równoległych i bibliotekami CUDA firmy NVIDIA zapewnia kompatybilność i ułatwia opracowywanie zoptymalizowanych rozwiązań programowych, umożliwiając badaczom i inżynierom skuteczne radzenie sobie z większymi i bardziej złożonymi problemami. Podsumowując, procesor graficzny NVIDIA A30 to potężne rozwiązanie dla środowisk HPC, oferujące niezrównaną wydajność i niezawodność w celu napędzania innowacji i odkryć naukowych.

Szkolenie AI (AI Training)

Procesor graficzny NVIDIA A10 to wszechstronna jednostka mocy zaprojektowana z myślą o podniesieniu poziomu głównego nurtu obliczeń korporacyjnych, zapewniając niezrównaną wydajność przy różnorodnych obciążeniach. Wykorzystując zaawansowaną architekturę Ampere, A10 zapewnia znaczną poprawę wydajności obliczeniowej, dzięki czemu idealnie nadaje się do analizy danych, infrastruktury wirtualnych pulpitów (VDI) i środowisk przetwarzania w chmurze. Bogate rdzenie CUDA i rdzenie Tensor umożliwiają przyspieszone przetwarzanie złożonych obliczeń, ułatwiając szybsze wyciąganie wniosków z dużych zbiorów danych i zwiększając wydajność modelu uczenia maszynowego. Szeroka przepustowość pamięci A10 zapewnia płynne zarządzanie zadaniami wymagającymi dużej ilości danych, podczas gdy technologia wirtualizacji NVIDIA umożliwia wielu użytkownikom jednoczesny dostęp do możliwości procesora graficznego, optymalizując wykorzystanie zasobów i redukując koszty operacyjne. Co więcej, płynna integracja A10 z kompleksowym ekosystemem oprogramowania NVIDIA, w tym CUDA, cuDNN i TensorRT, zapewnia kompatybilność i łatwość wdrożenia w istniejącej infrastrukturze IT. Cechy te wspólnie pozycjonują NVIDIA A10 jako kluczowy atut dla przedsiębiorstw, których celem jest zwiększenie mocy obliczeniowej, usprawnienie operacji i stymulowanie innowacji.

Analiza danych o wysokiej wydajności 

Naukowcy zajmujący się danymi muszą mieć możliwość analizy, wizualizacji i przekształcania ogromnych zestawów danych w wartościowe wnioski. Jednak rozwiązania skalowalne często napotykają problemy z danymi rozproszonymi na wielu serwerach.

Przyspieszone serwery z A30 oferują niezbędną moc obliczeniową — w połączeniu z dużą pamięcią HBM2, przepustowością pamięci wynoszącą 933 GB/s oraz skalowalnością dzięki NVLink — do obsługi tych obciążeń. W połączeniu z NVIDIA InfiniBand, NVIDIA Magnum IO oraz pakietem otwartych bibliotek RAPIDS™, w tym RAPIDS Accelerator dla Apache Spark, platforma centrum danych NVIDIA przyspiesza te ogromne obciążenia na niespotykanie wysokich poziomach wydajności i efektywności.

Dowiedz się więcej o analizie danych

Gotowe do Wykorzystania w Przedsiębiorstwie

A30 z MIG maksymalizuje wykorzystanie infrastruktury przyspieszonej przez GPU.

A30 z MIG maksymalizuje wykorzystanie infrastruktury przyspieszonej przez GPU. Dzięki MIG, GPU A30 może być podzielone na maksymalnie cztery niezależne instancje, co pozwala wielu użytkownikom na dostęp do przyspieszenia GPU.

MIG współpracuje z Kubernetes, kontenerami oraz wirtualizacją serwera opartą na hypervisorach. MIG umożliwia menedżerom infrastruktury oferowanie odpowiednio dopasowanego GPU z gwarantowaną jakością usług (QoS) dla każdego zadania, rozszerzając dostęp do zasobów obliczeń przyspieszonych dla każdego użytkownika.

Dowiedz się więcej o MIG

NVIDIA AI Enterprise

NVIDIA AI Enterprise, kompleksowy zestaw oprogramowania natywnego w chmurze do AI i analizy danych, jest certyfikowany do działania na A30 w wirtualnej infrastrukturze opartej na hypervisorach z VMware vSphere. To umożliwia zarządzanie i skalowanie obciążeń AI w hybrydowym środowisku chmurowym.

Dowiedz się więcej o NVIDIA AI Enterprise

Systemy Certyfikowane przez NVIDIĘ Głównego Nurtu

Systemy Certyfikowane przez NVIDIĘ™ z GPU NVIDIA A30 łączą przyspieszenie obliczeniowe oraz szybką, bezpieczną sieć NVIDIA w serwerach centrów danych przedsiębiorstw, zbudowanych i sprzedawanych przez partnerów OEM NVIDIĘ. Program ten umożliwia klientom identyfikację, nabywanie i wdrażanie systemów do tradycyjnych oraz różnorodnych nowoczesnych aplikacji AI z katalogu NVIDIA NGC na jednej wysokowydajnej, opłacalnej i skalowalnej infrastrukturze.

Dowiedz się więcej o certyfikowanych systemach NVIDIA

Specyfikacja A30 Tensor Core GPU 

FP64 5.2 teraFLOPS
FP64 Tensor Core 10.3 teraFLOPS
FP32 10.3 teraFLOPS
TF32 Tensor Core 82 teraFLOPS | 165 teraFLOPS*
BFLOAT16 Tensor Core 165 teraFLOPS | 330 teraFLOPS*
FP16 Tensor Core 165 teraFLOPS | 330 teraFLOPS*
INT8 Tensor Core 330 TOPS | 661 TOPS*
INT4 Tensor Core 661 TOPS | 1321 TOPS*
Media engines 1 optical flow accelerator (OFA)
1 JPEG decoder (NVJPEG)
4 video decoders (NVDEC)
GPU memory 24GB HBM2
GPU memory bandwidth 933GB/s
Interconnect PCIe Gen4: 64GB/s
Third-gen NVLINK: 200GB/s**
Form factor Dual-slot, full-height, full-length (FHFL)
Max thermal design power (TDP) 165W
Multi-Instance GPU (MIG) 4 GPU instances @ 6GB each
2 GPU instances @ 12GB each
1 GPU instance @ 24GB
Virtual GPU (vGPU) software support NVIDIA AI Enterprise
NVIDIA Virtual Compute Server

* Z rzadkością
** Most NVLink dla maksymalnie dwóch GPU

Wymiary NVIDIA A30 GPU

Zobacz najnowsze dane benchmarkowe MLPerf

Wnętrze Architektury NVIDIA Ampere

Odkryj najnowocześniejsze technologie architektury NVIDIA Ampere.

Dowiedz się więcej