Какво е NVLink? Как работи, капацитет и използване на GPU
2026-07-31 1413

Модерните системи с множество GPU зависят от нещо повече от суровата производителност на GPU. Колко бързо процесорите обменят данни, достъпват памет и работят заедно, може да има голямо влияние върху общата скорост. Тази статия обяснява капацитета на NVLink и поколенията, сравнява NVLink с PCIe и NVSwitch, обсъжда достъпа до GPU памет и NVLink-C2C и показва как NVLink се използва в AI и HPC натоварвания. Тя също така ви помага да решите кога NVLink може да подобри производителността и кога PCIe вече може да е достатъчен.

Каталог

Какво е NVLink?

NVLink е високоскоростна междузвена технология на NVIDIA за прехвърляне на данни между GPU и други процесори в ускорени компютърни системи. Основната му цел е да намали комуникационните пречки, когато няколко процесора трябва да обменят големи количества данни, докато работят заедно.

В много процесорни системи производителността може да бъде ограничена от това колко бързо данните се преместват между устройствата. NVLink предоставя висококапацитетен, ниско закъснителен комуникационен път, който намалява забавянията при прехвърляне и помага на свързаните процесори да обменят данни по-ефективно.

Как работи NVLink?

Фигура 2. Път на комуникация между GPU с NVLink

NVLink създава високоскоростен комуникационен път между съвместими GPU и други процесори. Когато два GPU трябва да обменят данни, достъпът peer-to-peer дава възможност данните да се преместват директно между техните паметни пространства, вместо да се изпраща всяко предаване през паметта на CPU.

NVLink поддържа двупосочна комуникация, така че данните могат да се движат в двете посоки между свързаните процесори. Множество NVLink връзки също могат да работят заедно, осигурявайки по-широк път за прехвърляне на данни между процесорите.

NVLink предоставя физическия път за тази комуникация, докато софтуерът решава как и кога да се използва пътят. CUDA, драйверите на устройства, NCCL и приложението управляват прехвърлянията. Когато достъпът на ръвноправието е поддържан и активиран, един GPU може да чете от, пише в или копира данни в паметта на друг GPU чрез наличната NVLink връзка.

П поколенията и капацитета на NVLink

Капацитетът на NVLink е нараснал с всяка голяма архитектура на NVIDIA GPU. Първата генерация NVLink се появи с базирания на Pascal Tesla P100, който поддържаше четири NVLink връзки и до 160 GB/s общ капацитет за владение на GPU. Volta V100 увеличи това до шест връзки и 300 GB/s на GPU.

NVLink от трето поколение пристигна с Ampere A100. A100 поддържа 12 NVLink връзки и до 600 GB/s общ капацитет за владение на GPU. Hopper H100 увеличи броя на връзките до 18, повишавайки капацитета на четвърто поколение NVLink до 900 GB/s на GPU.

NVLink от пето поколение пристигна с Blackwell, увеличавайки общия капацитет до 1.8 TB/s на GPU. NVLink от шесто поколение, свързан с платформата Rubin, увеличава максималното до 36 връзки и до 3.6 TB/s на GPU.

NVLink Поколение	NVIDIA Архитектура	Пример GPU или Платформа	Максимум Връзки на GPU	Максимум Двупосочна Широчина на Лентата на GPU
NVLink 1	Pascal	P100	4	160 GB/s
NVLink 2	Volta	V100	6	300 GB/s
NVLink 3	Ampere	A100	12	600 GB/s
NVLink 4	Hopper	H100	18	900 GB/s
NVLink 5	Blackwell	Blackwell GPUs	18	1.8 TB/s
NVLink 6	Rubin	платформа Rubin	36	3.6 TB/s

Широчина на лентата на връзка спрямо обща широчина на лентата на NVLink

Широчината на лентата на връзка и общата широчина на лентата на GPU описват различни стойности. Един GPU може да съдържа няколко NVLink връзки, така че общата широчина на лентата на GPU комбинира широчината на лентата, налична от всички поддържани връзки.

Например, H100 има 18 NVLink 4 връзки. Всяка връзка осигурява 50 GB/s двупосочна широчина на лентата, което дава максимум общо 900 GB/s на GPU. Blackwell използва 18 NVLink 5 връзки с 100 GB/s двупосочна широчина на лентата на връзка, произвеждайки до 1.8 TB/s на GPU.

Тези числа представляват максимална ширина на интерфейса. Реалната ширина на лентата между два GPU може да бъде по-ниска в зависимост от броя на активните връзки между тях, топологията на системата и конфигурацията на хардуера. Когато четете спецификациите на NVLink, винаги проверявайте дали стойността се отнася за една връзка, един GPU или цялата NVLink тъкан.

NVLink срещу PCIe срещу NVSwitch

Рисунок 3. Сравнение на NVLink, PCIe и NVSwitch

NVLink, PCIe и NVSwitch прехвърлят данни в GPU системи, но изпълняват различни роли. PCIe е интерфейс с общо предназначение, който свързва GPU и други устройства с хост системата. NVLink осигурява високоскоростна комуникация между поддържаните NVIDIA процесори, докато NVSwitch работи с NVLink, за да свърже по-големи групи от GPU по споделена комутационна тъкан.

Функция	NVLink	PCIe	NVSwitch
Какво е то	Високоскоростна свързаност между процесори	Интерфейс на системата с общо предназначение	Комутационна тъкан, използвана с NVLink
Основна цел	Бърза комуникация между поддържаните GPU и процесори	Свързване на GPU, SSD, NIC и други устройства с системата	Свързване на много GPU с активиран NVLink чрез една тъкан
Комуникация от GPU до GPU	Осигурява висока ширина на лентата за връзка между партньори	Поддържа трансфери от GPU до GPU, но производителността зависи от PCIe топологията	Роутва NVLink трафик между множество GPU
Път за данни	Директни връзки между процесори или връзки през NVSwitch	Трафикът преминава през PCIe коренови комплекси и комутатори	Осигурява комутируеми пътища между NVLink-свързани GPU
Закъснение	Проектиран за комуникация между процесори с ниско закъснение	Подходящ за общо входно/изходно, но пътищата от GPU до GPU могат да включват повече инфраструктура на системата	Добавя комутация, докато поддържа GPU свързани чрез високоскоростни NVLink пътища
Топология	Преки точки до точки връзки или връзки към NVSwitch	CPU коренови комплекси и PCIe комутатори	Комутируем, силно свързан GPU тъкан
Съвместимост	Изисква поддържан NVIDIA хардуер	Широка индустриална поддръжка	Изисква поддържани NVIDIA NVLink платформи
Най-добре подходящ за	Системи с много GPU и тежка комуникация	Системи с един GPU или натоварвания с ограничен трафик от GPU до GPU	Големи системи, където много GPU трябва да комуникират често
Основно ограничение	Ограничено до съвместима NVIDIA хардуер и платформи	Може да се превърне в Bottleneck при натоварвания с интензивна междупроцесорна работа	Добавя разходи за хардуер и сложност на системата

В прости термини, PCIe свързва устройства с системата, NVLink предоставя високоскоростна комуникация между процесорите, а NVSwitch разширява NVLink в по-големи конфигурации на GPU. NVSwitch не е заместител на NVLink, тъй като зависи от NVLink връзките за пренасяне на трафика на GPU.

PCIe може да е достатъчен, когато комуникацията от GPU до GPU е ограничена. NVLink става по-полезен, когато GPU обменят данни често, докато NVSwitch се използва главно, когато много GPUs с активиран NVLink се нуждаят от мащабируема комуникация в една и съща система.

Обединява ли NVLink паметта на GPU?

NVLink автоматично не обединява VRAM на няколко GPU в един по-голям физически пул на паметта. Две GPU с по 80 GB памет всяка все още имат отделни 80 GB паметни пространства, вместо да се превърнат в един GPU с 160 GB локална VRAM.

Когато хардуерът и топологията го поддържат, CUDA peer-to-peer достъпът до памет позволява на една GPU да достъпва памет на друга GPU. GPU може да чете, записва или копира данни в peer памет, без първо да премества данните през CPU памет. NVLink предоставя високопропускателен път за тези трансфери, когато GPU-тата са свързани чрез него.

Въпреки това, отдалечената GPU памет остава физически свързана с друга GPU. Софтуерът все още решава къде да се съхраняват данните, коя GPU ги достъпва и дали данните трябва да бъдат копирани или достъпвани отдалечено. CUDA Unified Memory може да опрости достъпа до паметта между устройства, но не премахва физическото разделение между GPU памет.

Поради тази причина, разположението на паметта все още е важно в много-GPU системи. Честият достъп до отдалечена GPU памет може да повлияе на производителността, дори когато NVLink предоставя по-бърза връзка.

Как NVLink-C2C разширява NVLink до свързвания между чипове

Рисунок 4. NVLink-C2C свързване между CPU и GPU

NVLink-C2C разширява NVIDIA NVLink от свързвания на ниво дъска до кратки свързвания между чипове в пакет или суперкръп. Той може да свърже CPUs, GPUs и други съвместими процесорни умиращи, позволявайки им да обменят данни чрез тясно интегрирана връзка.

На поддържани платформи с коherent NVLink-C2C, свързаните процесори също могат да поддържат последователен изглед на паметта. Например, Grace Hopper използва NVLink-C2C между Grace CPU и Hopper GPU, позволявайки на двата процесора да достъпват паметта през връзката, докато физическата им памет остава отделена.

Главната разлика е къде се използва всяка технология. Стандартният NVLink обикновено свързва отделни GPU или свързва GPU с NVSwitch на ниво дъска или система. NVLink-C2C доближава същата концепция за високоскоростно свързване до самите процесори, което го прави подходящ за свързвания CPU-GPU, CPU-CPU и други тясно интегрирани свързвания между чипове.

NVLink за AI и много-GPU натоварвания

NVLink е най-полезен, когато няколко GPU работят по същото натоварване и трябва да обменят данни често. В тези системи производителността зависи не само от скоростта на изчисления на GPU, но и от това колко бързо данните преминават между акселераторите.

По време на обучение на AI, GPU-тата могат да обменят градиенти, параметри, активирания и междинни резултати. NVIDIA NCCL управлява много от тези трансфери чрез операции като AllReduce, AllGather, ReduceScatter, Broadcast и точка до точка комуникация.

Тензорният паралелизъм създава честа комуникация, защото части от една и съща изчисление вървят на различни GPU и частичните резултати трябва да бъдат обменяни, преди обработката да продължи. Моделният паралелизъм също премества данни между GPU, докато се обработват различни части от модела.

Много-GPU LLM извод има подобни изисквания, когато голям модел е разделен между няколко GPU. Ако една GPU трябва да изчака данни от друга, забавянията в комуникацията могат да намалят общата производителност.

HPC натоварвания, като научна симулация, компютърна динамика на флуиди и молекулярно моделиране, също обменят гранични данни, частични резултати и информация за синхронизация между GPU. По-бързите трансфери между GPU могат да намалят това време на чакане и да помогнат на натоварването да работи по-ефективно.

За натоварвания с интензивна комуникация, NVLink може да намали времето, което GPU прекарват в обмен на данни и да помогне много-GPU системи да скалират по-ефективно.

Кога ви е нужен NVLink?

NVLink е добро решение, когато няколко GPU работят по една и съща задача и често обменят данни. Той може да помогне, когато комуникацията между GPU забавя натоварването и системата поддържа NVLink.

NVLink е по-добър избор, когато:

• Няколко GPU работят заедно по едно натоварване

• Големи количества данни преминават между GPU

• Комуникацията между GPU ограничава производителността

• GPU-тата и платформата поддържат NVLink

• Софтуерът може да използва комуникация между много-GPU

PCIe може да е достатъчен, когато:

• Системата използва само една GPU

• Множествени GPU обработват отделни задачи

• Трафикът между GPU е нисък

• PCIe вече отговаря на необходимата производителност

• По-ниската цена и по-широката хардуерна поддръжка са по-важни

Разходите и проектирането на системата също имат значение. Системи, способни на NVLink, могат да изискват поддържани GPU, правилна топология на системата, допълнителни превключватели и повече мощност и охлаждане в по-големи конфигурации.

Като цяло, NVLink е най-полезен, когато комуникацията между GPU е ясна граница за производителността. Ако GPU-тата рядко обменят данни или PCIe вече предоставя достатъчно пропускателна способност, NVLink може да добави разходи и сложност без явна печалба в производителността.