Ilie de la Oradia i-a dat lui Teszári de la Oradia un contract cu dedicație de 196 milioane EUR, bani finanțabili prin SAFE. M-am uitat cruciș de trei ori la știre. Ce treabă are Digi cu Apărarea? Contractul? Stați puțin că aici e și mai șocant: „dezvoltarea unei platforme integrate de tip LLM pentru securitate cibernetică”.
Într-adevăr, Digi e cea mai mare societate de comunicații din România. Dar de-aici până la dezvoltarea unui LLM și a unei platforme integrate de securitate cibernetică e cale lungă. Mie îmi este cât se poate de clar că aici avem de-a face cu o trebușoară extrem de neortodoxă. Să vă explic cum văd lucrurile.
Intrarea unei firme pe zona de securitate cibernetică are practic șanse zero de reușită. Dacă deții o rețea informatică imensă, așa cum deține Digi, beneficiezi de ceea ce se numește „unfair advantage”. Adică:
- Vizibilitate totală asupra traficului: poți analiza volume masive de date în timp real. În cybersecurity, cine are cele mai multe date poate antrena cele mai bune modele de AI/Machine Learning pentru detectarea anomaliilor;
- canal de distribuție nativ: ai deja acces direct la utilizatorii acelei rețele(B2C sau B2B). Poți integra securitatea ca un serviciu adăugat, eliminând costurile uriașe de achiziție a clienților;
- Securitate la nivel de infrastructură(In-line Security): poți opri atacurile direct în rețea, înainte ca ele să ajungă pe dispozitivele utilizatorilor finali.
Teoretic aici ai avea avantajul. Dezavantajul este acela că pornești de la zero. Sau aproape de zero, având în vedere că rețeaua Digi, cel mai probabil, deține personal specializat, know how și, posibil, anumite soluții proprietare. Am putea bănui că prin acest contract baștanul Ilie îl ajută pe patronetele Teszári să își construiască o soluție de cyber security. Până la urmă treburile n-ar fi tocmai rele. Cel puțin din banii ăia se duce ceva și la o firmă românească. Însă de-aici mai departe totul îmi dă cu virgulă. Să vă explic de ce.
Firma Digi nu trebuie să facă eforturi de achiziție de clienți: are deja statul român care i-a cerut să dezvolte respectiva soluție. Așadar, contractul finanțat de SAFE îi va permite atât să dezvolte soluția, dar, cel mai probabil, va strânge suficient know how pentru a-și face propria soluție pe care să o ofere clienților de alt tip. Repet: nu-i nimic rău în asta. Așa se face business-ul. Doar că ceva îmi dă cu virgulărău de tot.
Dacă m-aș apuca să fac business-ul ăsta, aș avea nevoie de sume cuprinse între 1.5 și 3 milioane $ anual. Diferența dintre cele două variante e dată de modul în care decid să lucrez: cu închiriere de cloud privat(varianta ieftină) sau cu echipamentele mele(varianta mai scumpă). Acum, suma de 3 milioane $, dintre care estimatul meu este de 2 milioane $ în echipamente poate părea ridicolă. Însă eu pornesc de la ceea ce ai avea nevoie cu adevărat. De asemenea, pornesc de la premisa că Digi are propriile spații adecvate pentru a găzdui hardware-ul. Acum, să vă detaliez care ar fi soluția oprimă pentru un astfel de proiect aflat la început de drum:
1. Clusterele de GPU pentru AI pentru antrenare și inferență – ~1.100.000 $Ai nevoie de servere dense, capabile să ruleze modele mari fără blocaje. Un singur server cu 8 GPU-uri HGX H100 costă aproximativ 350.000$ - 400.000$. Două astfel de servere oferă 16 GPU-uri de top, destul pentru a antrena modele custom de dimensiuni medii pe datele din rețea.4x Servere de inferență(pentru rularea modelelor pe fluxul live), echipate cu plăci mai ieftine, optimizate pentru procesare rapidă(ex: NVIDIA L40S sau echivalent), destinate analizării traficului în timp real.
AI-ul moare de foame fără date, iar datele dintr-o rețea mare vin în valuri de terabytes pe zi. Nu poți folosi hard-disk-uri normale. De aceea folosești sisteme de stocare NVMe All-Flash. E nevoie de aproximativ 1 până la 2 Petabytes de stocare ultra-rapidă(NVMe-over-Fabrics) capabile să susțină viteza de citire cerută de GPU-uri în timpul antrenamentelor.
Pentru ca serverele de AI să comunice între ele și cu sistemul de stocare fără latență, switch-urile clasice de internet nu sunt bune. De aceea ut6ilizezi infrastructură InfiniBand sau RoCE la 400Gbps/800Gbps..
Licențe de virtualizar (VMware/Nutanix sau setup-uri custom RedHat OpenShift/Kubernetes enterprise), plus unelte de management al clusterelor de GPU (ex: NVIDIA AI Enterprise).
E drept, soluția mea e cam „pe sărăchie”, care rimează cu Ilie. Dar eu aș face bugetul menționat gândind ca un startup, nu ca un baștan căruia-i pică banii din cer. Aici s-ar putea să-mi sară în cap isteții și să-mi spună că am menționat „antrenare de modele medii” în condițiile în care e vorba de un LLM, adică de un model mare! Să rețineți chestiunea asta deoarece mi se pare o prostie și-o să vă explic mai târziu de ce.
Să refacem totuși calculele pentru situația LLM. Pentru asta ne-ar trebui așa:
Minimum 64 de GPU-uri enterprise interconectate. 8x Sisteme HGX H200/B200(fiecare cu câte 8 GPU-uri): Total 64 GPU-uri. H200 oferă o lățime de bandă a memoriei de 4.8 TB/s. Acest setup îți permite să antrenezi un model de 70B parametri în câteva săptămâni, nu în luni de zile.Cost estimat: ~400.000 $ per sistem complet configurat x 8 = 3.200.000 $.
La LLM-uri, GPU-urile își petrec aproape jumătate din timp "vorbind" între ele pentru a sincroniza greutățile modelului. De aceea ai nevoie de networking ultra-rapid, deci switch-uri Quantum-2 InfiniBand(NDR 400Gbps sau noile sisteme X800 de 800Gbps), cabluri optice speciale direct între servere, permițând tehnologii ca GPUDirect RDMA.Cost estimat: 800.000 $(include switch-urile, plăcile de rețea ConnectX-7/8 și cablăria ultra-scumpă).
În timpul antrenării LLM-urilor, sistemul face periodic "checkpoints"(salvează starea modelului de sute de gigabytes în câteva secunde pentru a nu pierde progresul dacă pică un nod).Sistem NVMe paralel(ex: WekaIO sau IBM Storage Scale / Lustre pe hardware All-Flash): Capacitate de ~3-5 Petabytes, dar cel mai important, o viteză de scriere/citire de ordinul sutelor de GB/s.Cost estimat: 1.000.000 $.
Aici intervine realismul crunt: un cluster de 64 de GPU-uri Blackwell/H200, împreună cu stocarea și networking-ul, consumă în jur de 100 kW - 140 kW în mod constant când antrenează.Upgrade-ul camerei de servere existentedevine necesar deoarece ai nevoie de o infrastructură electrică dedicată, UPS-uri industriale capabile să susțină acest consum pentru a evita coruperea modelului la o pană de curent, și răcire pe lichid(Liquid Cooling Racks), întrucât aerul nu poate disipa această densitate termică.Cost estimat: 1.500.000 $.
Punând cap la cap ajungem la 6.5 milioane $! Și aici chestiunea devine spinoasă rău. Digi a mai câștigat în asociere cu Logic Computer un contract PNRR în valoare de 162 milioane EUR cu SRI pentru „furnizarea de echipamente hardware și software pentru dezvoltarea sistemului de securitate cibernetică” pentru 121 de instituții publice și private cu infrastructuri critice. Aici este vorba de furnizare de echipamente către 121 de instituții, deci e posibil ca sumele să fie ceva mai justificate, cu toate că, sincer să fiu, nu înțeleg larghețea asta atât de mare.
În proiectul de față e vorba de „antrenarea unui LLM” și restul e secretizat. Banii de la SRI au fost păpați în 5 luni. În ceea ce privește actualul contract nu-mi dau seama pe ce perioadă e.
Suma însă mi se pare gigantică. Și, ca să înțelegeți despre ce e vorba vă voi da un exemplu practic. Palantir - care știți bine cine e - are un buget de R&D de 500 milioane de dolari. Lui Digi i se alocă practic 40% din această sumă(adică România se împrumută pentru Digi, să ne înțelegem!). Mi se pare absolut aberant! La fel cum e și comparația cu Palantir că, să fim serioși, Digi nu e Palantir oricum ai da-o(cu excepția capacității de spionare din România).
Am însă un exemplu și mai relevant, ca să înțelegeți de ce banii sunt efectiv aruncați cu generozitate pe geam. Darktrace este o firmă din Marea Britanie care a pornit de la ideea de analiza matematică și AI aplicate direct pe traficul de rețea. Ei au creat conceptul de „sistem imunitar digital”. Pentru cunoscătorii din domeniu, Darktrace e un nume! Ei bine, bugetul de R&D istoric, din momentul în care au început să devină relevanți, a fost de ordinul a 10 - 20 de milioane de dolari pe an!!! Ulterior, pe măsură ce au crescut și au ajuns la venituri de sute de milioane, iar investițiile au scalat. Mă întreb sincer, la ce are nevoie Digi de aproape 200 milioane $ și câți din acești bani vor fi „difuzați”???
Acum v-am rămas dator cu partea de LLM. Nu întâmplător am adus în discuție Darktrace. Modelul lor de lucru cu AI s-ar putea să vă surprindă: folosesc modele de AI mici și agile. De exemplu, un model de-al lor de analiză de text(DEMIST-2) are doar 95 de milioane de parametri – este minuscul comparativ cu ChatGPT, dar rulează local, ieftin și este extrem de eficient pe securitate.
Ideea de LLM pentru cyber security este de-a dreptul cretină. LLM-urile sunt, prin natura lor matematică(autoregresivă, generând token cu token), mult prea lente pentru a sta în "linia întâi" a unei rețele de mare viteză. Dacă pui un LLM să analizeze direct pachetele de date de pe o conexiune de 10 Gbps sau 100 Gbps, vei bloca rețeaua instantaneu. Latența unui LLM se măsoară în milisecunde sau chiar secunde, în timp ce deciziile de rețea(trece sau nu pachetul) trebuie luate în microsecunde.
Există într-adevăr o abordare de acest tip însă într-un mediu hibrid, în care greul îl fac algoritmii mici, precum cei de la Darktrace, iar un LLM stă în spate pentru a analiza doar "esența" problemei: logurile suspecte corelate din mai multe surse, bucăți de cod suspect identificate în trafic sau istoricul comportamental al unui utilizator din ultimele x ore. Însă, repet, acest tip de LLM stă în spate, iar pentru a avea o soluție coerentă trebuie să ai modele mici antrenate, despre care nu se face nicio vorbire.
Chiar dacă s-a întins mult articolul, putem trage concluziile având toate datele și apoi le putem pune în context. În primul rând, suma este exagerată, chiar și pentru un proiect mare. Mai mult, Digi nu este la prima realizare de a acest fel, fiind abonată la contractele cu statul.
Vă reamintesc că Digi a fost, pur și simplu, expulzată de pe piața maghiară. Au fost obligați să-și vândă întreaga afacere și să plece de-acolo. Nu e ciudat ca Ungaria să expulzeze un etnic maghiar? În materie de comunicații asta înseamnă că firma a fost bănuită a fi una acoperită a serviciilor românești de informații. Altfel nu e de înțeles isteria. Din acest punct de vedere înțelegem mai multe lucruri, inclusiv modul în care a devenit „națională”. Cei care au vândut rețelele de cartier către Digi, cred că v-ar putea spune mai multe.
Dar ceea ce e de-a dreptul surprinzător este modul în care au reacționat „generalii de platou” în momentul în care s-a discutat despre punerea sub acuzare a șefului armatei de către DNA. Unii dintre ei au spus cu subiect și predicat că asta s-a întâmplat deoarece „serviciile urmăresc să deruleze banii SAFE prin firmele lor”. Cu alte cuvinte, niște neaveniți se înfruptă din banii lor! Hopa, pare a fi un deranj major în sistem. Știm bine că DNA e oficina SRI, astfel încât, din punct de vedere tehnic, SRI a ieșit „cu crampoanele” la Armată. Personal consider avem de-a face cu un teribil deranj în sistem.
Cu toate că e adevărat că toată dragostea celor de la UM Digi 24 pentru Bolojan trece prin stomac - un stomac umplut cu multă bunăvoință și atenție în ultimii ani - și mai adevărat e că asistăm la o degringoladă totală. Să te apuci acum să-l acuzi pe șeful armatei la fel cum l-ai acuzat pe Dragnea nu arată doar nivelul deranjului, ci și o teribilă lipsă de imaginație.
Întorcându-ne la bani, vă întreb doar prin prisma acestui contract: REALIZAȚI CUM SUNTEM FURAȚI? Și aici e vorba doar de niște firfirei. Cam 40% din banii de SAFE merg la Rheinmetall, firmă cunoscută pentru potlogăriile sale. Între altele, poate vă amintiți scandalul din Grecia din timpul crizei, când mai multe voci au acuzat lucrări plătite și neefectuate. Inclusiv noi suntem arși deoarece am plătit echipamente pe care le tot așteptăm. Sunt tare curios, pe banii ăștia care ne vor duce datoria externă la 70% din PIB, ce vom primi?
Există o singură concluzie: banii le-au luat mințile, iar unica destinație a noastrăca țară e la gunoi. În general, în istorie, astfel de potlogării se acoperă într-un singur mod, printr-o potlogărie și mai mare: RĂZBOIUL! Rețineți chestia asta pe care v-am spus-o încă de la primele momente ale conflictului din Ucraina.
S-au strâns prea multe. Statul e eminamente mafiot. Dacă ar fi să se pedepsească în modul corect cât s-a furat, s-ar ajunge la execuții pe stadioane. Ceea ce nu se poate decât în condiții de lovitură de stat. E mult prea mare masa de corupți! De aceea se și ajunge la astfel de chestii mafiotice, cu instituții cotropite, care fac exact ceea ce li se cere. Suntem deja la fundul sacului, se dau ultimele tunuri. Cu disperare. Iar lăturile nu mai pot fi spălate prin măsuri normale, ci doar printr-un război. Părerea mea e că asta e ținta finală!
