Süni intellekt infrastrukturunun genişlənməsində hazırda ən böyük maneələrdən biri yaddaş çiplərinin çatışmazlığıdır. Bunu Brad Lightcap, OpenAI-nin əməliyyat direktoru, yaxınlarda keçirilən forumda bildirib. Onun sözlərinə görə, son iki ildə sənayenin ən çox narahat olduğu enerji çatışmazlığı problemi artıq aradan qaldırılıb.
Süni intellekt sahəsində yaddaş yarımkeçiricilərinin çatışmazlığı fonunda “yaddaş müharibəsi” adlandırılan rəqabət daha da güclənir. Böyük AI modelləri üçün hesablama gücü vacib olsa da, məhdud yaddaş resurslarının nə dərəcədə səmərəli istifadə olunması performans və xərcləri müəyyən edir. ABŞ sanksiyaları səbəbindən qabaqcıl çiplərə çıxışı məhdud olan Çin şirkətləri üçün yaddaş səmərəliliyinin artırılması artıq sağ qalma strategiyasına çevrilib.
Bu sahədə müxtəlif texnologiyalar inkişaf etdirilir. Bunlara məlumatların xarici yaddaşda saxlanılması və lazım olduqda geri çağırılması, eləcə də yaddaş istifadəsini azaltmaq üçün məlumatların sıxılması daxildir.
NVIDIA bu ilin əvvəlində AI inferensiya üçün yaddaşın idarə olunması platforması olan ICMSP-ni təqdim edib. Bu texnologiya yaddaşı xarici qurğularda saxlayaraq GPU yaddaş limitini genişləndirir və yaddaş dolu olduqda belə AI əməliyyatlarının davam etməsinə imkan verir. Dərhal lazım olmayan, lakin yaxın zamanda istifadə oluna biləcək məlumatlar müvəqqəti olaraq GPU-dan çıxarılıb “anbar”a (ICMSP) köçürülür. Bu sistem AI üçün xarici sərt disk və əlavə yaddaş rolunu oynayır. Bahalı GPU-ların sayını artırmaq əvəzinə, daha ucuz ICMSP platformasından istifadə xərcləri azaltmağa kömək edir.
Stanford University tədqiqatçılarının hazırladığı “ttt-e2e” (tEST-tIME tRAINING–eND-TO-eND) yanaşması isə məlumatları tam saxlamaq əvəzinə əsas məqamları xülasə edib “yadda saxlamağa” əsaslanır. Bu, imtahana hazırlaşarkən bütün sualları yazmaq əvəzinə əsas mövzuları əzbərləməyə bənzədilir. Google-un TurboTranscoder texnologiyası məlumatları sıxaraq həcmi azaldırsa, NVIDIA-nın ICMSP sistemi məlumat üçün ayrıca “anbar” infrastrukturu yaradır. ttt-e2e isə ümumiyyətlə məlumatı saxlamadan yaddaş səmərəliliyinə nail olur.
Çinin Huawei şirkəti ötən ilin avqustunda yaddaşı effektiv idarə edən “UCM” (Unified Cache Manager) texnologiyasını təqdim edib. Bu sistem məlumatları əhəmiyyətinə görə bölərək saxlayır. Nəticədə bahalı və əldə edilməsi çətin olan HBM yaddaşından istifadə minimuma endirilir, əvəzində Çinin yaxşı istehsal edə bildiyi SSD-lərdən maksimum istifadə olunur.
Çin startapı DeepSeek isə fərqli yanaşma seçib: model əvvəlcədən daha az məlumat “xatırlayacaq” şəkildə hazırlanır. Bu da yaddaşı xaricə köçürmək və ya sıxmaq ehtiyacını azaldır. Nəticədə yarımkeçirici sanksiyaları səbəbindən yaranan avadanlıq çatışmazlığı şəraitində belə yüksək performanslı AI sistemlərinin işləməsi mümkün olur.
MONETAR.AZ
