llama3
Llama 3
Genel amaçlı güçlü metin üretimi ve uzun bağlamda kurumsal soru-cevap için uygun ana çizgi modeli; özetleme ve politika yorumunda dengeli kalite.
ClosAIs, hazır bulut sohbetleri yerine kendi ağınızda ve kendi sunucularınızda çalışan bir yapay zeka asistanı ve analiz ortamıdır. Sayısal verilerden özet çıkarmanızı, güncel kurumsal dokümanlara dayalı soru-cevap yapmanızı aynı çatı altında sunar.
Kullanıcı trafiği ve veri iç ağınızda kalır; model ve bilgi tabanı dışarıya açılmadan yönetilir. Bu yapı, verinin nerede işlendiğini net göstermeniz gereken kurumlar için uygundur.
Birden fazla dil modeli aynı kurulumda kullanılabilir; işin niteliğine göre doğru modele yönlendirme yapılır. Canlı veri bağlantıları ile farklı sistemlerden gelen bilgi sürekli güncellenir. Dokümanlar, grafikler ve raporlar aynı platformda bir araya gelir — teknik detay aşağıda özetlendiği düzeyde tutulmuştur.
01 // Tanım
Bir yandan ölçüleri anlamak (trend, sapma, öngörü), diğer yandan kurumsal bilgiyi sormak (politika, şartname, rehber) — ikisi aynı üründe birleşir.
Üretim, finans veya operasyon kaynaklı sayısal veriler özetlenir; dikkat gerektiren sapmalar ve eğilimler öne çıkar. Yöneticiler tablo yerine anlaşılır özet ve grafikler ile karar alır.
PDF ve Office belgeleri, içeriği aranabilir bir bilgi havuzuna dönüşür; çalışanlar doğal dilde soru sorup güncel kurum metnine dayalı yanıt alır. Güncellenen doküman, güncellenen cevap demektir.
İster masaüstü tarayıcı, ister kurum içi uygulama entegrasyonu — aynı yetenekler farklı kanallardan kullanılabilir.
Bilgi döngüsü
Burada “eğitim”den kasıt, çoğu kurulumda devasa bir temel modelin baştan eğitilmesi değil; kurumsal metnin ve beslemelerin dinamik olarak sürekli işlenmesi (RAG bilgi tabanı)dır. Güncel parça indekse girdiği anda, bir sonraki soruda aynı bağlam kullanılabilir.
7 — Veri yeniden biçimlendirme servisi bu döngünün kalbidir: farklı kanallardan gelen içerik SDT (Standard Document for Training) biçimine normalize edilir; her SDT belgesi metadata ile (kaynak, koleksiyon, dil, zaman damgası) birlikte eğitim servisinin ingest uçlarına (tekil belge veya toplu batch) aktarılır. Pipeline; JSON, CSV, XML ile PDF/DOCX/TXT ayrıştırmasını aynı hedef formata bağlar — böylece “eğitim verisi” dediğimiz şey, sürekli yenilenen metin + bağlam akışına dönüşür.
İsteğe bağlı olarak sohbet oturumları da (ör. onaylı senaryolarda) aynı hatta SDT metnine çevrilip koleksiyona eklenebilir; kurum politikasına göre bu kanal açılıp kapatılır.
Manuel yüklemeler departman veya proje bazında ayrı koleksiyonlara gider; politika veya şartname güncellendiğinde yalnızca indeks yenilenir, temel model aynı kalır.
Otomatik besleme taraflarında klasör izleme, periyodik REST API polling, HTTP webhook (JSON/CSV gövde) ve WebSocket üzerinden NDJSON akışı aynı dönüşüm borusuna girer; çıktı her zaman eğitim servisinin anladığı ortak belge şeklindedir.
Eğitim servisi gelen metinleri parçalayıp gömütlere çevirerek vektör deposunda tutar. Soru geldiğinde ilgili parçalar çekilir; LLM bu bağlamla yerel çıkarım yapar — yani güncellenen bilgi, cevabın “okuduğu” kaynak kümesidir.
Sayılardan: özet, grafik ve rapor üretimi çalışır. Sorulardan: hem genel dil yeteneği hem güncel kurum metni birlikte kullanılır.
02 // Modeller
Tek bir “her işe yarayan” model yerine, kurumunuzda birden fazla dil modeli bulunabilir. Kısa günlük özetler için hızlı yanıt veren bir seçenek; uzun metin ve karmaşık sorular için daha güçlü bir seçenek gibi farklı görevlere farklı modeller atanır. Böylece hem maliyet hem bekleme süresi daha iyi dengelenir.
Kullanıcılar arayüzde model seçebilir; yönetim ise isterseniz politikayla belirli rolleri veya işlemleri sabit modellere bağlar. 3 — LLM servisi Ollama üzerinden çalışır ve görünen ad eşlemesi config/llm_custom.yaml dosyasından okunur.
Örnek kurulum (llm_custom.yaml)
llama3
Genel amaçlı güçlü metin üretimi ve uzun bağlamda kurumsal soru-cevap için uygun ana çizgi modeli; özetleme ve politika yorumunda dengeli kalite.
gemma2:2b
Küçük ayak izi; düşük gecikmeli yanıt ve sınırlı GPU/CPU ortamlarında hızlı döngü için ideal. Kısa sorular ve günlük tetikleyici metinler için verimli.
qwen2.5:3b
Kompakt boyut; çok dilli senaryolarda ve sınırlı kaynakla çalışan kurulumlarda esnek seçenek. Orta düzey karmaşıklıktaki görevlerde Gemma ile Llama arasında köprü rolü görebilir.
Türkçe için piyasada sık tercih edilen modeller (Ollama / açık ağırlık örnekleri)
Aşağıdaki aileler çok dilli eğitim ve Türkçe metin üretiminde yaygın kullanılır; tam imaj adı ve donanım gereksinimi kurulumunuza göre değişir.
llama3.1 · llama3.3
Meta çizgisinin güncel sürümleri; 8B–70B bandında Türkçe soru-cevap ve uzun bağlamda kurumsal metin için güçlü taban. Üretimde llama3.3:70b gibi büyük varyantlar sık seçilir.
mistral · mistral-nemo
Avrupa ekosisteminde yoğun kullanım; Türkçe dahil çok dilli görevlerde dengeli kalite–hız. Sınırlı GPU ile bile kurulabilen güçlü genel amaçlı seçenek.
mixtral
MoE mimarisi; karmaşık talimatlar ve çok dilli içerikte Türkçe çıktı kalitesi yüksek. Daha büyük tek GPU veya çoklu GPU profillerine uygun.
qwen2.5 · qwen3
Alibaba çizgisi; Asya ve Avrupa kurulumlarında Türkçe ile çok güçlü çok dilli performans. 7B–32B ve üzeri sürümler kurumsal RAG ve uzun metin için tercih edilir.
phi3 · phi4
Microsoft küçük/orta boy modelleri; Türkçe teknik ve tablo içerikli görevlerde verimli. Düşük gecikme ve sınırlı bellek ortamlarında iyi alternatif.
deepseek-r1 · deepseek-v3
Akıl yürütme ve uzun analiz modelleri; Türkçe ile çok adımlı sorun çözme ve özet üretiminde güçlü. Donanım gereksinimi yüksek varyantlar üretim sınıfında kullanılır.
Ollama'da hangi imajların kurulu olduğu ortama göre değişir; yukarıdaki teknik adlar örnektir. Arayüzde gösterilen dost adlar config/llm_custom.yaml ile eşleştirilir ve listeye yeni modeller eklenebilir.
03 // Canlı veri
Veri yalnızca elle dosya yüklemekle sınırlı değildir. Dinamik akış, 7 numaralı bileşendeki bağdaştırıcılarla kurulur: izlenen klasörler, periyodik REST (API polling), anlık HTTP webhook (JSON veya CSV gövde) ve WebSocket üzerinden NDJSON akışı. ERP, üretim, dosya paylaşımı veya harici mikro servislerden gelen paketler aynı hatta toplanır.
Ham kayıtlar doğrudan modele gitmez; önce yeniden biçimlendirilir. Uygun ayrıştırıcılar (JSON, CSV, XML, PDF/DOCX/TXT) metni anlam bütünlüğünü koruyacak şekilde okuyup SDT belgelerine dönüştürür. Eğitim servisi bu belgeleri alınca onları parçalar, gömütler ve vektör koleksiyonuna işler — biriken veri böylece RAG için sürekli yenilenen eğitim / indeks datasına dönüşür (temel model ağırlıklarını her değişimde yeniden eğitmek gerekmez).
API ve WebSocket kanallarında gelen içerik aynı boruda toplu (batch) veya tek belge ingest ile iletilebilir; metadata ile kaynak, koleksiyon ve zaman damgası izlenebilir kalır. Kurumunuzun farklı altyapıları parçalanmış kalmaz; çalışanlar güncel içeriği sorabildiği sürece değer üretir.
04 // Erişim
Herkesin her şeyi görmesi gerekmez. Bilgi havuzları departman, proje veya kullanıcı grubuna göre ayrılabilir; arama ve sohbet yalnızca yetkili içerikte yapılır. Böylece hem gizlilik hem de güvenilirlik artar — yanlış bağlamdan gelen cevaplar azalır.
Kullanıcı bazında “eğitim” burada anlam kazanır: kimin hangi doküman kümesiyle çalıştığı netleşir; yönetim görünürlüğü ile saha operasyonu birbirinden ayrılabilir.
05 // Çıktılar
Politika, prosedür ve teknik dosyalar yüklenir; çalışanlar doğal dilde sorar, özet ve madde madde yanıtlar alır. İstenirse belirli kanallardan gelen içerik de otomatik eklenir.
Sayısal sonuçlar çizgi grafikler, kartlar ve panolarla sunulur. Yönetim kurulu öncesi veya operasyon toplantısında tek bakışta trend ve sapma görülür.
İstatistik, analiz ve tahmin türlerinde raporlar üretilir; kayıt altına alınır ve indirilebilir. Panoda özetler ve son işlemler takip edilir — ekstra raporlama aracı aramaya son.
Güven katmanı
Yapay zekâdan faydalanırken veri ve itibar riskini yönetmek istersiniz. ClosAIs bu dengeyi kurmak için tasarlanır: ölçü ve belgeler kurum içinde kalır; erişim ve izlenebilirlik sizin kurallarınıza göre şekillenir.
Sistem kurum ağınızda veya seçtiğiniz ortamda çalışır. Hazır bulut sohbetlerine bağımlı kalmadan aynı yeteneklere yaklaşabilirsiniz; dışarıya veri çıkışı zorunluluğu yoktur.
Sürekli beslenen veri ve dokümanlar sayesinde ekipler dünkü içerikle değil, bugünkü gerçeklikle çalışır. Farklı kaynaklar tek akışta birleştiği için “hangi sistemde ne vardı?” karmaşası azalır.
Kimin neye eriştiği ve trafiğin nasıl yönetildiği üzerinde düşünülmüştür. Rol ve politika ile uyum süreçlerinize uyum sağlamanız kolaylaşır; veri nerede duruyor sorusuna net cevap vermek mümkünleşir.
06 // Veri akış kanalları
ClosAIs, aynı güvenlik ve izleme çatısı altında iki ayrı ama birbirini tamamlayan hat üzerinden çalışır: ölçü ve analiz operasyonel gerçekliği sayısal olarak okur; kurumsal bilgi (RAG) ise metinleriniz, politikalarınız ve canlı beslemelerinizden tutarlı yanıt üretir.
Bir yönetici sabah panoda trend ve sapmayı görür; aynı gün ekip, güncel prosedüre dayalı soru sorar. Hatlar birbirinin yerine geçmez: yoğunluk analizdeyse dil modeli kuyruğu şişmez; doküman indeksi büyürken ölçü işleme hattı gereksiz yere yavaşlamaz.
Sayısal veri · KPI · zaman serisi
Ölçümler kaynak sistemlerden veya dosyalardan gelir; merkezi kapı üzerinden doğrulanır. Analiz motoru özet, eğilim ve anomali üretir; sonuçlar ilişkisel ve zaman serisi depolara işlenir. Pano ve raporlar güncellenir; istenirse aynı içgörü yöneticiye doğal dilde özetlenir.
Doküman · embedding · yerel LLM
Politika, sözleşme, rehber ve ofis dosyaları parçalanır; vektör indekse yazılır. Canlı bağlantılarla içerik sürekli yenilenir. Kullanıcı sorusu geldiğinde ilgili parçalar bulunur; yerel dil modeli kaynaklı ve anlaşılır yanıt üretir — veri kurum sınırında kalır.
07 // Katmanlı sistem mimarisi
Aşağıdaki şema, yukarıda anlattığımız dört değerin aynı çatıda nasıl bir araya geldiğini gösterir: birden fazla dil modeli (üstte dil asistanı katmanı), canlı ve çok kaynaklı veri (yeniden biçimlendirme hattı ile dış dünyaya bağlantı), kullanıcı ve birime özel bilgi ayrımı (bilgi tabanı ve koleksiyon mantığı eğitim hizmetinde), doküman, grafik ve rapor (analiz motoru + arayüz + rapor kayıtları).
Kullanıcılar ve uygulamalar güvenli giriş katmanından içeri girer; merkezi kapı tüm istekleri yönetir. Orta katmanda analiz, dil asistanı, kurumsal bilginin işlenmesi ve canlı veri bağlantıları yan yana durur — böylece biri yoğunlaştığında diğerleri gereksiz yere kilitlenmez.
Altta ise veri katmanı yer alır: iş kayıtları ve raporlar için ilişkisel veri tabanı, zaman serisi için ayrı depolama, hızlı erişim için önbellek, kurumsal metinlerin aranabilir hale getirildiği vektör deposu ve dil modellerinin çalıştığı yerel ortam. İzleme araçları sistemin sağlığını takip eder. Aşağıdaki diyagram teknik okuyucular için özet bir haritadır; bağlantı noktaları tipik kurulum değerlerini gösterir.
08 // Sistem modülleri
Platform sekiz ana bileşene ayrılmıştır; böylece ihtiyaç duyulan parça bağımsız güçlendirilir ve bakım kolaylaşır. Aşağıda her birinin işinize faydası özetlenmiştir; teknik ayrıntı düzeyi bilgilendirme için yeterlidir.
Merkezi giriş ve güvenlik
Kullanıcıların ve entegrasyonların tek adresten sisteme bağlanmasını sağlar; kimlik doğrulama ve kötüye kullanım önlemleri burada toplanır. Ekipler için basitlik: tek kapı, tutarlı politika.
Analiz, yapay dil asistanı ve kurumsal bilgi hattına giden tüm istekler bu katmandan geçer; böylece izlenebilirlik ve kontrol merkezileşir.
Analiz ve öngörü motoru
Sayısal veriyi özetler, eğilim ve anomalileri ortaya çıkarır, gerektiğinde tahmin üretir. Operasyon, finans veya IoT gibi alanlardaki ölçümler tek yerde işlenir.
Sonuçlar raporlara ve panolara gider; istenirse aynı sonuçlar yapay dil asistanı ile yöneticiye sade bir dilde özetlenir.
Yerel dil modelleri, çoklu seçim
Kurum sunucularında çalışan modellerle metin üretir ve sohbet sunar. Birden fazla model aynı ortamda tutulabilir; hızlı yanıt gerektiren işler ile derin analiz gerektiren işler farklı modellere yönlendirilebilir.
Kurum dilinize ve terminolojinize uyum için davranış ayarları yapılabilir. Veriniz dışarı çıkmadan yanıt üretimi tamamlanır.
Kurumsal bilgi ve koleksiyonlar
PDF ve Office dosyaları gibi materyaller işlenir; içerik aranabilir bir bilgi tabanına dönüşür. Departman, proje veya kullanıcı grubuna göre ayrı “bilgi kutuları” oluşturulabilir — herkes yalnızca yetkisi olan içeriği sorgular.
Politika ve şartnameler güncellendiğinde bilgi tabanı da güncellenir; güncel kurum bilgisi sohbet ve aramalara yansır.
Pano, analiz, sohbet
Yönetim özetleri, analiz ekranları, grafikler ve sohbet tek arayüzde bir araya gelir. Karmaşık tabloları tek bakışta grafik ve kartlarla anlaşılır kılar.
Rolünüze göre vurgular ve erişim; rapor özetleri ve son işlemler panoda toplanır.
Yayın, izleme, kurulum
Güvenli bağlantı (HTTPS) ve trafik yönlendirme; büyük dosya yüklemeleri için uyumlu sınırlar.
Sistem sağlığı ve performansı panolarla izlenir; tekrarlanabilir kurulum ile aynı yapı farklı ortamlarda çoğaltılabilir.
Canlı ve çok kaynaklı bağlantı
Klasör, zamanlanmış API çağrıları, anlık bildirimler ve akış kanallarıyla kurum verisi sürekli beslenebilir. ERP, dosya paylaşımı veya üretim sistemleri gibi farklı kaynaklar aynı bilgi hattına bağlanır.
Böylece statik yükleme ile yetinmeden, işin gerçek zamanına yakın güncel bilgi sunulur.
Tanıtım sayfası
Bu sayfa: ClosAIs’in değer önerisini ve mimarisini özetler; ürünün kendi çalışma ekranından bağımsız tutulabilir.
Kurum içi iletişim, yönetici özeti veya dış paydaşlara kısa tanıtım için uygundur.
09 // Temel özellikler
Aşağıdaki başlıklar, kurumlar ve kullanıcılar için somut faydayı özetler: güven, esneklik, güncellik, kişiselleştirme ve tek merkezden yönetim.
Yapay zeka çıkarımı kurum ortamınızda çalışır; hassas içerik ve ölçümler için kontrol sizde kalır.
Aynı platformda farklı dil modelleri kullanılabilir; hızlı yanıt mı, derin analiz mi — ihtiyaca göre yönlendirilir.
Dosya, bildirim ve zamanlanmış bağlantılarla veri sürekli güncellenir; farklı iş sistemleri tek bilgi akışında buluşur.
Hangi ekip hangi dokümanlarda arama yapar, ayrı ayrı tanımlanabilir; gereksiz sızıntı riski azalır.
Kurumsal dosyalar aranabilir hale gelir; analiz sonuçları grafiklerle görülür; raporlar üretilip indirilebilir.
Analiz, dil asistanı ve bilgi işleme birbirinden bağımsız güçlenir; ihtiyaç arttıkça ölçekleme planlanabilir.
Tekrarlanabilir ortam kurulumu; geliştirici ekipler için standart programlı arayüzler ve belgeler.
$ closais init --secure-mode [INFO] Initializing Secure Gateway... [OK] JWT Validation Active [INFO] Loading Local LLM: Llama-3-8B [OK] Model Loaded to GPU memory [INFO] Indexing Vector Store... [OK] 1.2M nodes indexed in 42ms [STATUS] System Ready. All data is LOCAL.
10 // Sorun ve çözüm
Sık görülen ihtiyaçlar ve ClosAIs’in sunduğu karşılık aşağıdadır. Dil yönetim ve iş birimleri için anlaşılır tutulmuştur.
Zorluk
Hazır bulut sohbet araçlarına güvenmek, sözleşme ve regülasyon açısından risk oluşturur; rekabet ve müşteri verisi dışarı çıkmamalıdır.
ClosAIs ile
ClosAIs ile yapay zeka çıkarımı ve kurumsal bilgi indeksi kurumunuzun kontrolündeki ortamda kalır. İsterseniz dış servislere bağımlılık olmadan çalışırsınız.
Zorluk
Genel modeller kurumun güncel prosedürlerini, fiyatları veya iç kuralları bilmez; ekip sürekli kopyala-yapıştırla vakit kaybeder.
ClosAIs ile
Dokümanlar ve canlı veri akışları bilgi tabanını besler; çalışanlar güncel içeriğe dayalı yanıt alır. Tekrarlayan sorulara daha az, iş üretmeye daha çok zaman kalır.
Zorluk
Denetçiler ve müşteriler, verinin nerede işlendiğini ve kimin neye eriştiğini net görmek ister.
ClosAIs ile
Merkezi giriş, şifreli iletişim ve rol bazlı düşünülmüş erişim ile izlenebilirlik güçlenir. Veri egemenliği politikalarınızla uyumlu çalışma hedeflenir.
Zorluk
Tek parça yazılımlar yoğunluk arttığında herkesi yavaşlatır; analiz ile sohbet aynı kuyrukta sıkışır.
ClosAIs ile
Analiz motoru, dil asistanı ve bilgi işleme ayrı katmanlardır; ihtiyaç hangi parçada büyüyorsa oraya kaynak ayırırsınız.
Zorluk
Tek satıcıya kilitlenmek uzun vadede maliyet ve esneklik sorunu yaratır.
ClosAIs ile
Yaygın kullanılan açık bileşenler ve belgelenmiş kurulum ile ekip bulmak ve sürdürmek kolaylaşır; kurum içi veya seçtiğiniz bulutta barındırabilirsiniz.
Zorluk
Ölçüler bir yerde, raporlar başka yerde, özet sunum üçüncü bir araçta — tutarlı hikâye oluşmaz.
ClosAIs ile
Sayısal analiz, grafikler, doğal dil özeti ve rapor indirme aynı ekosistemde toplanır; yönetim tek kaynaktan karar görüntüsü alır.
| Zorluk | ClosAIs ile |
|---|---|
closeHazır bulut sohbet araçlarına güvenmek, sözleşme ve regülasyon açısından risk oluşturur; rekabet ve müşteri verisi dışarı çıkmamalıdır. | check_circleClosAIs ile yapay zeka çıkarımı ve kurumsal bilgi indeksi kurumunuzun kontrolündeki ortamda kalır. İsterseniz dış servislere bağımlılık olmadan çalışırsınız. |
closeGenel modeller kurumun güncel prosedürlerini, fiyatları veya iç kuralları bilmez; ekip sürekli kopyala-yapıştırla vakit kaybeder. | check_circleDokümanlar ve canlı veri akışları bilgi tabanını besler; çalışanlar güncel içeriğe dayalı yanıt alır. Tekrarlayan sorulara daha az, iş üretmeye daha çok zaman kalır. |
closeDenetçiler ve müşteriler, verinin nerede işlendiğini ve kimin neye eriştiğini net görmek ister. | check_circleMerkezi giriş, şifreli iletişim ve rol bazlı düşünülmüş erişim ile izlenebilirlik güçlenir. Veri egemenliği politikalarınızla uyumlu çalışma hedeflenir. |
closeTek parça yazılımlar yoğunluk arttığında herkesi yavaşlatır; analiz ile sohbet aynı kuyrukta sıkışır. | check_circleAnaliz motoru, dil asistanı ve bilgi işleme ayrı katmanlardır; ihtiyaç hangi parçada büyüyorsa oraya kaynak ayırırsınız. |
closeTek satıcıya kilitlenmek uzun vadede maliyet ve esneklik sorunu yaratır. | check_circleYaygın kullanılan açık bileşenler ve belgelenmiş kurulum ile ekip bulmak ve sürdürmek kolaylaşır; kurum içi veya seçtiğiniz bulutta barındırabilirsiniz. |
closeÖlçüler bir yerde, raporlar başka yerde, özet sunum üçüncü bir araçta — tutarlı hikâye oluşmaz. | check_circleSayısal analiz, grafikler, doğal dil özeti ve rapor indirme aynı ekosistemde toplanır; yönetim tek kaynaktan karar görüntüsü alır. |
11 // Kapasite
Bu bölüm bulut sanal makineleri değil, kurum içinde satın alınacak fiziksel sunucu ve rack altyapısını anlatır. Önerilen üretim düzeni dört fiziksel sunucudan oluşur: iki düğüm yardımcı ve yönlendirici servisler için (yüksek erişilebilirlik), iki düğüm ise LLM, eğitim ve AI iş yükleri için NVIDIA H100 ile donatılır. Omurga ağ 10/25 GbE, ECC bellek ve kurumsal NVMe depolama ile ölçeklenir.
Kaynak önceliği: GPU sunucuları eşzamanlı çalışır; önce kullanıcı çıkarımı ve yanıt süreleri için kaynak ayrılır. Kullanıcı yoğunluğu düştüğünde aynı donanım eğitim, RAG güncellemesi ve vektör işlerine kaydırılır. Her iki katmanda da çift sunucu, teknik arıza ve bakımda hizmet kesintisini sınırlayan yedeklilik sağlar. Kullanıcı yükü ve eğitim verisi büyüdükçe donanım sistemi durdurmadan genişletilebilir.
Yardımcı ve yönlendirici servisler
2U · çift Intel Xeon Silver / AMD EPYC · 64–128 GB ECC · NVMe RAID · çift 10/25 GbE
API Gateway, web arayüzü altyapısı, veri işleme işçileri, Redis, izleme; trafiği ve servisleri yönlendirir.
Yardımcı ve yönlendirici servisler (eş)
Sunucu 1 ile aynı sınıf donanım · senkron tutulan servis profili
Sunucu 1 ile eş çalışır; yük dağılımı veya arızada devamlılık. Teknik sorunlarda yardımcı katman kesintisiz kalacak şekilde tasarlanır.
LLM, eğitim ve AI servisleri
4U · çift Intel Xeon Gold / AMD EPYC · 256–512 GB ECC · 2× NVIDIA H100 80 GB HBM3 (PCIe veya SXM) · NVMe (modeller + eğitim verisi) · çift 10/25 GbE
Ollama / LLM servisi, eğitim hattı, Qdrant ve vektör işleri. Öncelik kullanıcı görevlerinde; yoğunluk düşünce kaynaklar eğitime yönlendirilir.
LLM, eğitim ve AI servisleri (yedek)
Sunucu 3 ile aynı H100 referansı: 2× NVIDIA H100 80 GB HBM3 · eş bellek ve depolama profili
Sunucu 3 ile eşzamanlı çalışır; yük paylaşımı ve arıza senaryolarında LLM ve eğitim hizmetinin sürekliliği. İhtiyaca göre tam yedek veya aktif-aktif rol.
Kullanıcı yükü, eğitim verisi ve süreklilik hedeflerine göre genişleme başlıkları
Veri ve iş yükü büyüdükçe donanım
Kullanıcı sayısı ve eğitim verisi arttıkça GPU sayısı, bellek ve NVMe kapasitesi sunucu başına artırılabilir veya yeni düğüm eklenebilir.
Kesintisiz genişleme
Planlama kaynak kuyrukları ve bakım pencereleri ile yapılır; sistem durdurulmadan ölçekleme hedeflenir.
Katman katman ölçekleme
Yardımcı katmanda ek CPU ve RAM; AI katmanda ek H100 veya üst nesil GPU geçişi ayrı ayrı değerlendirilir.
Rack ve güç
42U kabinet, UPS, PDU ve yeterli kW kapasitesi; yer ve enerji gereksinimleri sunucu sayısıyla birlikte planlanır.
İsteğe bağlı altyapı
NAS, merkezi yedekleme ve KVM gibi bileşenler ihtiyaca göre eklenir.