Sažetak
Kako umjetna inteligencija (AI) brzo napreduje, tradicionalne mreže podatkovnih centara suočavaju se s velikim izazovima pri prijenosu AI prometa. Visoka iskorištenost propusnosti i mali broj tokova slona mogu učiniti konvencionalno balansiranje opterećenja po-toku neučinkovitim, što rezultira zagušenjem i gubitkom paketa koji značajno povećavaju vrijeme obuke AI modela i vremena dovršetka posla. Ova bijela knjiga ispituje tehnologiju dinamičkog inteligentnog usmjeravanja koja kombinira-svijest u stvarnom-vremenu s inteligentnim-donošenjem odluka. Koristi-mjeranje kvalitete putanje, proširenu BGP{7}}sinkronizaciju atributa, dinamički ponderirani-troškovni višeput (WCMP), abnormalno-uklanjanje putanje i
Flowlet{0}}automatsko balansiranje opterećenja (ALB) za poboljšanje raspoređivanja prometa u AI okruženjima. Dizajn također koristi virtualizaciju za pružanje izolacije više-stanara i nudi scenarije primjene i smjernice za planiranje za učinkovite, stabilne i inteligentne mreže podatkovnih centara s umjetnom inteligencijom.
Uvod: Evolucija mreže u umjetnoj inteligenciji Doba
Zašto se tradicionalne mreže bore s umjetnom inteligencijom Promet
U tradicionalnim mrežama podatkovnih centara, veliki broj malih tokova omogućuje uravnoteženje opterećenja po-toku kako bi se postigla prihvatljiva distribucija i izbjegavanje zagušenja čak i bez svjesnosti o mrežnim uvjetima u stvarnom-vremenu. Promet umjetne inteligencije vrlo je različit: iskorištenost propusnosti je iznimno velika, a prometom često dominira samo nekoliko tokova slonova. Hash kolizije stoga mogu smjestiti više velikih tokova na isti put dok drugi putovi ostaju nedovoljno iskorišteni. Nakon što dođe do gubitka paketa, vrijeme dovršetka cjelokupnog opterećenja umjetne inteligencije može se značajno povećati. Iz tog razloga, industrija se sve više usredotočuje na optimizirane algoritme-balansiranja opterećenja za AI tkanine kako bi se promet ravnomjernije raspodijelio na više puteva.
Slika 1. Usporedba AI slonova-protočnog prometa i tradicionalnog malog{2}}protočnog prometa.
Kombinacija dinamičke svijesti s inteligentnim-donošenjem odluka
Dinamičko inteligentno usmjeravanje tehnologija je-temeljene na svijesti-ujednačavanja opterećenja. Koristi kvalitetu puta koju očituju prekidači u tkanini za prilagodbu lokalnog odabira putanje i podržava dinamički ponderirano balansiranje opterećenja. Izgrađena na BGP-u, tehnologija definira novi prošireni-atribut zajednice.
Više{0}}dimenzionalna, visoko{1}}precizna mjerenja koriste se za procjenu kvalitete putanje, a rezultat se širi putem BGP-a za usmjeravanje daljnjeg prosljeđivanja prometa. Ovo poboljšava distribuciju opterećenja-širom mreže i smanjuje vrijeme odgovora aplikacije [1].
Slika 2. Dinamička svijest, odluka i tijek rada izvršenja.
Osnovne tehnologije: Inteligentno raspoređivanje prometa
Glavni pristupi balansiranju -opterećenja mreže uključuju:
- Po-toku ECMP: najčešći pristup, temeljen na pet-trupnom raspršivanju. Dobro radi kada postoji mnogo protoka i čuva redoslijed paketa, ali hash kolizije mogu proizvesti lošu ravnotežu kada su brojevi protoka niski, kao u AI obuci [1].
- Balansiranje-na temelju protoka: Ovisi o ispravnoj konfiguraciji među-razmaka protoka. Točna konfiguracija je teška kada je latencija razine-globalnog puta nepoznata [1].
- Po-paketu ECMP: Pruža izvrsnu teoretsku ravnotežu, ali može stvoriti opsežno preuređivanje paketa na primatelju [1].
Pristup dinamičkog inteligentnog usmjeravanja koji koriste RoCE sklopke serije XingRongyuan CX-N (temeljene na SONiC-) kombinira balansiranje temeljeno na-toku ECMP i Flowlet-. Uvodi dinamički WCMP (Weighted Cost Multipath) i Flowlet-temeljen ALB (Auto Load Balancing) [1].
Mjerenje kvalitete puta
Sustav procjenjuje kvalitetu mrežnog puta koristeći čimbenike koji snažno utječu na AI klastere, uključujući korištenje propusnosti, korištenje čekanja i kašnjenje prosljeđivanja.
Statistički brojači
Propusnost i iskorištenost reda čekanja mjere se pomoću ASIC hardverskih brojača s točnošću na razini od sto-milisekundi. ASIC bilježi brojače-prosljeđivanja priključaka i čekanja{3}}prosljeđivanja u stvarnom vremenu. Kontrolna ravnina SONiC čita brojače preko SAI sučelja s preciznošću od pod-sekunde i pohranjuje ih u Redis. Proces-kontrole usmjeravanja procjenjuje kvalitetu sučelja pomoću ovih brojača i oglašava rezultat putem BGP-a. Kako bi se ograničilo opterećenje-kontrolne ravnine, reklame se trenutno šalju u intervalima-druge razine, s ponderiranim prosjekom primijenjenim na više uzoraka; noviji uzorci dobivaju veću težinu.
U-pojasnoj telemetriji
Mjerenje kašnjenja-prosljeđivanja temelji se na INT (In-mrežna telemetrija) i može doseći preciznost-nanosekunde. HDC (High Delay Capture) hvata pakete koji imaju veliku latenciju unutar ASIC-a. Kada paket prijeđe korisnički-definirani prag odgode, preklopnik šalje prvih 150 bajtova izvornog paketa zajedno s metapodacima, uključujući ulazni port, izlazni port i latenciju, sakupljaču. U ovom dizajnu, CPU djeluje kao HDC sakupljač i analizator, omogućujući visoko-precizno prosljeđivanje-mjerenja kašnjenja i točniju-evaluaciju kvalitete putanje.
Slika 3. Put-propagacije kvalitete i instalacije WCMP-a.
Tehnologija koristi novi BGP prošireni{0}}atribut zajednice, Path Bandwidth Extended Community, za označavanje ukupne kvalitete puta do odredišta. Bajt višeg-reda polja proširenog-tipa je 0x00, a bajt-nižeg reda je 0x05. U polju vrijednosti, potpolje Global Administrator predstavlja AS broj. Kvaliteta putanje kodirana je u četiri bajta pomoću IEEE formata-pokretne točke i izražena u GB/s.
Kada NIC1 komunicira s NIC2, NIC2 prvo oglašava svoju IP adresu Leaf2. Leaf2 oglašava adresu Spineu zajedno s -vrijednošću kvalitete veze prema NIC2 pomnoženom s težinom veze Leaf2. Spine dodaje vlastitu ponderiranu kvalitetu veze i prosljeđuje akumuliranu vrijednost Leafu1. Leaf1 sažima kvalitetu staze i instalira rute koje vode prosljeđivanje. U dvo-slojnoj Leaf-Spine strukturi, priključci su klasificirani kao Leaf uzlazne veze, Leaf silazni linkovi i Spine priključci, s podesivim koeficijentima izračuna za svaku klasu.
Dinamički WCMP
Balansiranje opterećenja distribuira promet na više veza. U AI okruženjima ovo je bitno za izgradnju Ethernet mreže bez gubitaka s minimalnim gubitkom paketa, latencijom i degradacijom propusnosti. ECMP je konvencionalni mehanizam u podatkovnim centrima. WCMP proširuje ECMP distribucijom
prometa proporcionalno preko veza. U dinamičkom inteligentnom usmjeravanju, WCMP težine se prilagođavaju u stvarnom vremenu prema kvaliteti putanje. Na primjer, ako postoje dva puta između NIC1 i NIC2, sustav može izračunati omjer 3:7. Kako se promet mijenja, ažurirane informacije o kvaliteti-puta šire se putem BGP-a do svakog preklopnika lista, gdje se generiraju dinamičke WCMP rute za usmjeravanje prosljeđivanja.
Uklanjanje abnormalnog puta
Kada ukupna kvaliteta staze padne ispod dogovorenog praga, staza se smatra neupotrebljivom za radno opterećenje umjetne inteligencije i uklanja se iz prosljeđivanja. Preostale staze nastavljaju prenositi promet kroz dinamički WCMP. Kada se staza vrati u normalu, ona se vraća. Iako to može privremeno ostaviti dio kapaciteta neiskorištenim, sprječava ozbiljnije zagušenje i gubitak paketa [1].
Inteligentno balansiranje opterećenja (ALB)
ALB pruža Flowlet-distribuciju opterećenja. ASIC mjeri opterećenje i latenciju na različitim priključcima u stvarnom vremenu i usmjerava svaki Flowlet na vezu s manjim opterećenjem ili manjim kašnjenjem. Ovo dodaje finiji-zrnati raspored uz tradicionalni ECMP. ALB također podržava port failover i automatski redistribuira promet kada izlazna veza zakaže [1].
Virtualizacija
Pred-mreže često trebaju podršku za više-stanara kako bi se različiti GPU resursi mogli dodijeliti različitim korisnicima. Rješenje koristi VRF (virtualno usmjeravanje i prosljeđivanje) za izolaciju stanara, s jednim VRF-om dodijeljenim svakom korisniku. Podmreže povezane s GPU-smještene su u korisnikov VRF, a PRE ACL-ovi u ASIC-u klasificiraju ulazni promet tako da se promet svakog korisnika prosljeđuje samo unutar odgovarajućeg VRF-a [1].
Scenariji primjene
1.Kako Dynamic WCMP apsorbira prometne udare
Za strukturu s 256 x 400G GPU priključcima, dvo-slojna Clos arhitektura može se dizajnirati s 1:1 omjerom konvergencije silazne veze-prema-uzlaznoj vezi za održavanje visoke propusnosti, velike propusnosti i simetričnog kapaciteta. Prikladni modeli proizvoda uključuju XingRongyuan CX864E-N ili CX732Q-N [1]. Prema konvencionalnom ECMP-u, mali broj tokova AI slona može se raspršiti na isti Spine, uzrokujući zagušenje uzlazne veze ili gubitak paketa. Dinamički WCMP kontinuirano prilagođava distribuciju prometa prema-kvaliteti putanje u stvarnom vremenu, smanjujući prometne udare i izbjegavajući zagušenja [1].
2.Flowlet-Balansiranje opterećenja razine
U istoj GPU strukturi od 256 x 400 G, dinamički WCMP nije najbolji za svaki uređaj ili radno opterećenje. Prekidač može dinamički odabrati Flowlet-temeljen ALB. ALB mjeri opterećenje i latenciju veza u ECMP grupi i šalje Flowlets na veze s nižom iskorištenošću ili kašnjenjem. Ako sučelje postane preopterećeno ili mu se kašnjenje prosljeđivanja poveća, ASIC automatski izbjegava taj izlaz dok se uvjeti ne vrate u normalu [1].
Planiranje i dizajn AI mreže
AI usluge općenito uključuju tri faze: prikupljanje podataka i prethodnu obradu, obuku modela i AI zaključivanje. Svaka faza postavlja različite zahtjeve na mrežu.
1. Prikupljanje podataka i predobrada
Globalna{0}}mreža za{0}}prikupljanje podataka i pretprocesiranje podataka mora osigurati-elastične javne IP i propusne resurse velikih razmjera kako bi se golemi neobrađeni skupovi podataka mogli učinkovito prikupljati s globalnog interneta. Dizajn mora osigurati siguran i stabilan prijenos uz poboljšanje performansi agregacije podataka i pretprocesiranja [2].
1.1 VPC segmentacija
VPC dizajn za prikupljanje-podataka temeljeno na oblaku trebao bi slijediti načela najmanje-privilegije, slojevitu izolaciju, sigurnosnu kontrolu i elastičnu skalabilnost. Može se koristiti više VPC-ova ili više podmreža unutar jednog VPC-a [2].
- Segment prema stupnju usluge: implementirajte prikupljanje podataka, pretprocesiranje, pohranu, obuku i zaključivanje u zasebnim podmrežama ili VPC-ovima. Postavite ulazne točke prikupljanja u DMZ VPC ili javnu podmrežu; smjestiti pretprocesne i privremene podatke u namjenski VPC za obradu; smjestite osjetljive neobrađene podatke i obuku umjetne inteligencije u visoko-sigurnosni VPC bez izravnog javnog pristupa.
- Izolacija prema razini sigurnosti: Stvorite VPC-ove ili podmreže visoke-, srednje- i niske{2}}sigurnosti i koristite sigurnosne grupe, mrežne ACL-ove i privatno povezivanje za kontrolu prometa između-VPC-a i među-podmreža.
- Lizolacija prema zakupcu ili projektu: Dodijelite zasebne VPC-ove različitim zakupcima ili projektima kako biste izolirali resurse, mreže i podatke.
1.2 Izlazna mreža za prikupljanje podataka
NAT pristupnik: Koristite skup EIP-ova i SNAT-a preko NAT pristupnika, dopuštajući programima za prikupljanje pristupa internetu s nasumično odabranih javnih IP adresa.
Samo{0}}izgrađeni proxy: implementirajte proxy poslužitelje koji održavaju mapiranja između procesa prikupljanja i javnih IP adresa i distribuiraju jedan zahtjev za prikupljanje na više proxy poslužitelja.
Davatelj IP usluga: Povežite se s davateljem IP usluga preko privatne mreže u oblaku za niže troškove, kontroliranu sigurnost i stabilnu kvalitetu [2].
1.3 Među-regionalna agregacija i pretprocesiranje podataka
Odaberite regiju OSS-a u skladu s-planom klastera pretprocesiranja i izradite VPC-agregacije podataka u istoj regiji. Napravite Transit Router (TR) u svakoj regiji, povežite lokalne VPC-ove i međusobno povežite TR-ove tako da regionalni VPC-ovi za prikupljanje mogu izravno pristupiti središnjem OSS-u. Usluge kao što su PAI-iTAG, MaxCompute i Flink tada mogu izvršiti označavanje podataka i pretprocesiranje u OSS regiji [2].
2. Model mreže za obuku
Model{0}}mreža za obuku usko je integrirana s mrežom za prikupljanje i pretprocesiranje kako bi se formirala globalna struktura koja povezuje podatkovne centre u oblaku, rubne čvorove i-lokalne IDC-ove.
Velika{0}}brza međupovezanost pruža nisko-latenciju, visok-propusni protok podataka, dok propusnost, sigurnosna pravila, kontrole pristupa i oporavak od katastrofe moraju biti dizajnirani od kraja do kraja [2].
- U -regional cross{1}}cluster compute pool: Transit Router povezuje više VPC-ova unutar iste regije. ENI poslužitelja povezuju se s VPC preklopnicima i mogu se konfigurirati za potrebnu propusnost i RDMA.
- Cross-cloud compute pool: Namjenski krugovi povezuju IDC ili drugi oblak na istu-regionalni VPC. Alibaba Cloud VBR-ovi povezuju se na sloju 3 s ravnopravnim uređajem, uz BGP, BFD i brzi failover za brzu konvergenciju.
Globalni računalni skup: Među-regionalne veze između TR-ova osiguravaju se u skladu s vršnim među-regionalnim prometom, s opcijskim među-regionalnim QoS-om za stvaranje jedinstvenog računalnog skupa među regijama [2].
3. Globalna inferencija-Mreža usluga
Globalna inferencijska mreža odabire modele postavljanja prema resursima i uslugama u oblaku dostupnim u svakoj regiji i osigurava učinkovitu distribuciju usluga i pristup [2].
- Implementacija modela ili agenta: Upotrijebite implementaciju Model Studio MaaS, PAI-EAS ili Function Compute PaaS implementaciju ili IaaS implementaciju na EGS, ACK, ACS ili Lingjun bare-metal infrastrukturi unutar VPC-a korisnika.
- Distribucija usluge: Stvorite VPC-distribuciju zaključka i povežite privatne mreže koristeći VPC Peering, pridružene VPC-usluge u oblaku ili PrivateLink. Implementirajte ALB ili poboljšani ALB kao pristupnu točku i proxy zahtjeve različitim modelima ili agentima.
- Pristup usluzi: lokalni korisnici interneta mogu izravno pristupiti poboljšanom ALB-u; udaljeni korisnici mogu koristiti Global Accelerator (GA); unutarnji ili vanjski Alibaba Cloud poslovni korisnici mogu se privatno povezati putem PrivateLinka.
Zaključak i perspektiva
Ova bijela knjiga objašnjava izazove s kojima se suočavaju IDC mreže u eri umjetne inteligencije i kako ih dinamično inteligentno usmjeravanje može riješiti. Dinamička svijest, inteligentno donošenje-odluka, WCMP, ALB i VRF virtualizacija poboljšavaju učinkovitost-balansiranja opterećenja, smanjuju zagušenje i gubitak paketa te ubrzavaju AI obuku i zaključivanje. Odjeljak za planiranje naglašava segmentaciju VPC-a, dizajn-izlaza kolekcije, među-regionalnu agregaciju i pretprocesiranje, obuku modela i isporuku globalnog zaključivanja. Kako se AI nastavlja razvijati, mreže podatkovnih centara suočavat će se sa strožim zahtjevima. Dinamičko inteligentno usmjeravanje nastavit će se poboljšavati za rubnu umjetnu inteligenciju, federalno učenje i druge složene scenarije. Buduće IDC mreže stavit će veći naglasak na konvergenciju računalne-mreže, energetsku učinkovitost i automatizirane operacije, stvarajući inteligentniji, učinkovitiji i pouzdaniji temelj za digitalnu ekonomiju.
Reference
Tehnički izvorni dokument-korisnika.
Bijela knjiga mreže Alibaba Cloud AI. Pristupljeno 27. svibnja 2026.
https://help.aliyun.com/zh/cloud-mreža-dobro-arhitektiran-dizajn/alibaba-oblak-ai-mreža-bijeli-papir