Trafik deseni
Planlı eğitim penceresi, kesintisiz çıkarım
- Toplu iş kuyruğu
- Pencere dışında hızlandırıcı kapalı
- İstek başına çıkarım
Çözüm senaryosu
Yapay zekâ ve veri iş yükleri için referans mimari
Eğitim penceresi, checkpoint hacmi ve çıkarım gecikmesi tek bir kaynaktan beslenmez. Bu sayfa üç katmanın hangi PortvMind Cloud servisine düştüğünü ve kararın nerede verildiğini gösterir.
- Ana karar
- Hızlandırıcı profili ve eğitim penceresinin uzunluğu
- Veri katmanı
- Nesne depolamada veri seti, blok hacimde checkpoint
- Kurulum
- GPU modeli ve kota konsolda seçilir
Genel bakış
Yapay zekâ iş yükü hangi altyapı kararlarını verir?
Bu senaryoda karar üç ayrı yerde verilir. Birincisi hızlandırıcı profilidir: model boyutu, bellek ihtiyacı ve eğitim penceresinin uzunluğu GPU seçimini belirler; pencere kapandığında kaynak serbest bırakılır. İkincisi veri katmanının ikiye ayrılmasıdır — ham veri seti ve etiketler nesne depolamada durur, eğitim sırasında yazılan checkpoint dosyaları blok hacimde tutulur. Üçüncüsü çıkarımın eğitimden ayrı ölçeklenmesidir: eğitim toplu ve planlıdır, çıkarım sürekli ve istek başınadır. Veri katmanı ayrımı hızlandırıcı profilinden önce gelir.
Tipik iş yükü profili
Eğitim ve çıkarım aynı yükü taşımaz
Eğitim planlı bir pencerede toplu olarak çalışır ve verim ister; çıkarım gün boyunca isteğe cevap verir ve yanıt süresi ister. İkisini tek kaynak grubunda toplamak, pencere kapandığında hızlandırıcının boşta çalışmasına yol açar. Profil bu yüzden trafik deseni, veri hacmi ve gecikme ihtiyacı eksenlerinde ayrı ayrı tanımlanır.
Veri hacmi
Veri seti büyür, checkpoint döner
- Ham veri: nesne depolama
- Checkpoint: blok hacim
- Sürüm başına model artefaktı
Gecikme ve uyum
Eğitimde verim, çıkarımda yanıt süresi
- Eğitim: verim odaklı
- Çıkarım: yanıt süresi odaklı
- Veri yerleşimi senaryonun gereksinimi
Profil; trafik deseni, veri hacmi ve gecikme ihtiyacı eksenlerini tarif eder.
Referans mimari
Doğrusal eğitim hattı ve ona bağlı çıkarım yolu
Referans mimari tek yönlü bir hat olarak kurulur: ham veri seti, eğitim havuzu, checkpoint hacmi ve model artefaktı. Yayınlanan artefakt alt sıradaki çıkarım yoluna geçer. Checkpointten eğitim havuzuna dönen kesikli ok, yeniden eğitim döngüsünü gösterir; bu döngü olmadan yeni veriyle güncelleme adımı mimaride görünmez kalır.
Kullanılan PortvMind Cloud servisleri
Dört servis, dört ayrı yaşam döngüsü
GPU / AI Compute eğitim ve çıkarımı, Object Storage veri seti ile model artefaktını, Block Storage checkpoint hacmini, Network Data Transfer ise dışa çıkan yanıt trafiğini karşılar. Dördü ayrı ayrı açılır ve kapatılır; hızlandırıcı kapatıldığında veri katmanı yerinde kalır ve sonraki eğitim penceresi aynı veri setiyle başlar.
GPU / AI Compute
Eğitim havuzu ve çıkarım servisi aynı servisten, ayrı yaşam döngüleriyle alınır.
Object Storage
Ham veri seti, etiketler ve yayınlanan model artefaktı burada durur.
Block Storage
Eğitim sırasında yazılan checkpoint dosyaları için düşük gecikmeli hacim.
Network Data Transfer
Çıkarım yanıtlarının dışa transferi ve veri seti taşımaları bu kalemde toplanır.
Her servis sayfası bu senaryoya geri bağlanır; bağlantı iki yönde de aynı listeden üretilir. Tüm Servisler
Değerlendirme kriterleri
Kurulum öncesinde cevaplanan dört soru
Karar tablosu hızlandırıcı uygunluğunu, veri katmanı ayrımını, çıkarımın bağımsız ölçeklenmesini ve veri yerleşimini sorar. Veri katmanı ayrımı hızlandırıcı profilinden önce gelir. Kota ve maliyet tahmini konsolda ve hesaplama aracında yer alır.
| Kriter | Sorulan soru | Bu senaryodaki cevap |
|---|---|---|
| Hızlandırıcı uygunluğu | İhtiyaç duyulan GPU modeli ve kota bölgede karşılanıyor mu? | GPU modelleri ve kota konsolda listelenir. Seçenekler H100, H200 ve L40S’tir. |
| Veri katmanı ayrımı | Veri seti ile checkpoint aynı hacimde mi tutuluyor? | Hayır — veri seti nesne depolamada, checkpoint blok hacimde tutulur. |
| Çıkarım ölçeklemesi | Çıkarım eğitimden bağımsız ölçeklenebiliyor mu? | Evet — iki iş yükü ayrı kaynak grubunda çalışır ve ayrı kapatılır. |
| Veri yerleşimi | Eğitim verisinin Türkiye lokasyonunda kalması gerekiyor mu? | Bölge kurulumda İstanbul (tr-ist-01) veya Ankara (tr-ank-01) olarak seçilir. KVKK kurumun gereksinimleri arasında ele alınır. |
Birim fiyat ve kota calculator ile konsolda yer alır.
İlgili rehberler ve dokümantasyon
GPU seçimi ve nesne depolama okumaları
Hızlandırıcı seçimi rehberlerde, nesne depolama ve API erişimi dokümantasyonda adım adım anlatılır.
Rehberler
- AI İş Yükü İçin GPU Sunucu Nasıl Seçilir?
GPU sunucu seçimi bir model adı seçmekle başlamaz; iş yükünün ne yaptığını yazmakla başlar. Önce eğitim mi inference mı olduğunu, modelin ve çalışma verisinin GPU belleğine sığıp sığmadığını, işin ne kadar sürede bitmesi gerektiğini tanımlayın. Ardından GPU modelini bu tanıma göre daraltın ve CPU, RAM, depolama ile ağı aynı anda boyutlandırın: sistemin en yavaş halkası GPU değilse daha güçlü bir GPU sonucu değiştirmez. Kararı, kendi verinizle çalıştırılan temsili bir denemeyle kapatın.
- Kubernetes Üzerinde GPU İş Yükleri: Time-Slicing, MIG ve MPS
Kubernetes, GPU'ları node üzerinde üretici device plugin'i aracılığıyla genişletilmiş kaynak olarak ilan eder ve Pod isteklerine göre zamanlar. Varsayılan tam GPU tahsisi güçlü ayrım sağlar ancak küçük inference veya geliştirme işlerinde kapasiteyi eksik kullanabilir. Time-slicing GPU zamanını paylaşır fakat bellek ve hata izolasyonu sağlamaz; MIG desteklenen GPU'yu donanım seviyesinde ayrı örneklere böler; MPS ise uyumlu CUDA süreçlerinin aynı GPU üzerinde eş zamanlı çalışmasını iyileştiren bir runtime servisidir. Seçimi temsilî bir iş yükü ölçümüyle kapatın.
- Ekran Kartlı Sunucu Nedir? GPU Sunucu Nasıl Seçilir?
Ekran kartlı sunucu veya GPU sunucu, CPU ve belleğe ek olarak paralel hesaplama işlerini hızlandıran bir ya da daha fazla GPU içeren sunucudur. Doğru seçim yalnız GPU modeline bakılarak yapılmaz. Model ve veri boyutu, GPU belleği, kullanılan sayısal hassasiyet, yazılım uyumluluğu, CPU/RAM dengesi, depolama hızı, ağ yapısı ve toplam çalışma süresi birlikte değerlendirilmelidir.
Rehberler
- Object Storage ve S3 API
Bucket ve dosya kullanımı için Discuss’ta yayımlanan rehber.
- API Erişimi ve Application Credentials
Erişim yaklaşımının kısa açıklaması ve Discuss’taki ilgili ürün duyurusu.
Diğer çözüm senaryoları
- SaaS ve Startuplar
Ortam ayrımı, sürüm terfisi ve kiracı başına kalıcı hacim.
- Finans
Gün içi işlem bandı, gün sonu toplu iş bandı ve saklama süresi.
- E-Ticaret ve Perakende
Takvimi bilinen kampanya zirvesi, esnek havuz ve çıkış bütçesi.
Eğitim penceresini ve veri katmanını birlikte planlayalım.
Model boyutunu, veri seti hacmini ve çıkarım beklentinizi paylaşın; hızlandırıcı profilini, depolama ayrımını ve yeniden eğitim döngüsünü mimari görüşmede birlikte çıkaralım.