Microsoft Foundry Local Kurulumu Rehberi

Microsoft, yapay zeka çözümlerini yalnızca gökyüzü ortamında değil, artık doğrudan alet üzerinde çalıştırılabilir hale getiren Microsoft Foundry Local çözümünü yaygınlaşan kullanıma (General Availability – GA) sundu.

Bu gelişme ile birlikteki geliştiriciler, internetler bağlantısına ihtiyaç duymadan, bilgi gizliliğini koruyarak ve ilave bedel oluşturmadan AI uygulamaları geliştirebiliyor.

Foundry Local Nedir?

Microsoft Foundry Local, yapay zekâ modellerinin doğrudan kullanıcı cihazında (on-device) çalışmasını sağlayan, uçtan uca (end-to-end) tek yerel AI platformudur.

Temel özellikleri:

• Cloud bağımlılığı yok
• Offline çalışabilir
• Düşük latency (network yok)
• Token bazlı bedel yok
• Uygulama içine gömülebilir (embedded AI)

Yani klasik “API çağır → yanıtlar al” modeli yerine: Model direkt senin makinede çalışır.

Foundry Local mimarisi 3 esas bileşenden oluşur:

1. Foundry Local SDK

• Python, JavaScript, C#, Rust yardımler
• Geliştiricinin kullandığı katmandır

2. Foundry Local Core

• Model lifecycle yönetimi:
  • Download
  • Load (RAM/GPU)
  • Inference
  • Unload

3. ONNX Runtime

• Modelin çalıştırıldığı inference engine
• Donanım hızlandırma sağlar (GPU / NPU / CPU fallback)

Önemli nokta: SDK aslında yalınce “wrapper”dır — tüm iş Core + ONNX Runtime’da döner.

Desteklenen Platformlar

Foundry Local tamamlanmış cross-platform çalışır:

• Windows (WinML entegrasyonu ile)
• macOS (Apple Silicon GPU / Metal)
• Linux (x64)

Windows tarafında ilave avantaj:

WinML sayesinde sürücüler uyumluluğu otomatik yönetilir
Kullanıcı sürücüler kurdu güçunda kalmaz

Temel Özellikler (Capabilities)

Foundry Local’ı güçlü yapan özellikler:

Kurulum Gerektirmez

• Son kullanıcı için ilave kurulum yok
• Uygulama ile birlikteki gelir

Veri Güvenliği

• Veri alet dışına çıkmaz
• KVKK / regülasyon uyumlu kullanım senaryoları için ideal

Donanım Hızlandırma

• GPU → varsa kullanır
• NPU → varsa kullanır
• CPU → fallback

Offline Çalışma

• İnternet yok → sualn yok

Streaming Response

• Token token yanıt üretimi (real-time UX)

Resume Download

• Model indirirken kesilirse kaldığı yerden devam eder

Desteklenen Model Aileleri

Foundry Local Model Catalog üzerinden optimize edilmiş modeller:

• Qwen
• Mistral
• DeepSeek
• Whisper (speech-to-text)
• Phi (Microsoft)
• GPT OSS modelleri

Model seçimi donanıma göre otomatik optimize edilir.

Foundry Local Mimari Yapısı ve Çalışma Prensibi

Microsoft Foundry Local, klasik gökyüzü tabanlı yapay zeka mimarisinden farklı olarak, tüm inference sürecini doğrudan istemci alet üzerinde gerçekleştiren katmanlı tek yapı sunar. Bu mimari; başvuru katmanı, Foundry Local Core ve altyapı bileşenlerinden oluşur.

Uygulama Katmanı (Application Layer)

Foundry Local, JavaScript, Python, C# ve Rust gibi farklı programlama dilleri ile geliştirilen uygulamalarla entegre çalışır. Geliştiriciler bu katmanda doğrudan SDK kullanarak Foundry Local Core ile iletişim kurabilir.

Alternatif olarak, OpenAI uyumlu tek REST API endpoint’i da opsiyonel olarak devreye alınabilir. Ancak varsayılan ve önerilen kullanım yöntemi, icra avantajı dolayı doğrudan kütüphane çağrıları (in-process execution) şeklindedir.

Foundry Local Core

Mimarinin merkezinde mekan saha Foundry Local Core, tüm yapay zekâ yaşam döngüsünü yöneten esas bileşendir. Tek tek yerli olan kütüphane (Windows için .dll, Linux için .so, macOS için .dylib) olarak çalışır.

Bu tabaka aşağıdaki işlemleri yönetir:

• Model indirme (download)
• Modelin belleğe yüklenmesi (load)
• Inference işlemlerinin yürütülmesi
• Modelin bellekten kaldırılması (unload)

Ayrıca, donanım bağımsızlığı sağlayarak GPU, NPU ya da CPU kullanımını otomatik olarak yönetir. Bu sayede başvuru geliştiricinin donanım detaylarıyla ilgilenmesine lüzum kalmaz.

ONNX Runtime Entegrasyonu

Foundry Local, inference işlemlerini gerçekleştirmek için ONNX Runtime kullanır. Bu bileşen, modelin çalıştırıldığı esas motordur.

ONNX Runtime sayesinde:

• GPU hızlandırma yardımlenir
• NPU cihazları kullanılabilir
• CPU fallback mekanizması devreye girer

Bu yapı, farklı donanım konfigürasyonlarında optimum icra sağlar.

Foundry Catalog

Model yönetimi Foundry Catalog üzerinden gerçekleştirilir. İlk çalıştırma sırasında lüzumli model, cihazın donanım özelliklerine göre otomatik olarak indirilir.

Sonraki çalıştırmalarda ise model, lokal cache üzerinden yüklenerek icra artırılır. Ayrıca modeller güncellemeleri da bu katalog üzerinden yönetilir.

WinML (Windows Machine Learning) Entegrasyonu

Windows işletim sistemlerinde Foundry Local, WinML ile entegre çalışır. Bu entegrasyon sayesinde:

• Donanıma elverişli execution provider’lar otomatik olarak belirlenir
• Sürücü uyumluluğu işletim sistemi tarafından yönetilir
• Windows Update üzerinden icra iyileştirmeleri sağlanır

Bu yaklaşım, özellikle işletmeler ortamlarda ilave sürücü yönetimi ihtiyacını ortadan kaldırır.

Çalışma Akışı

Foundry Local’ın çalışma süreci aşağıdaki adımlardan oluşur:

1. Uygulama başlatılır ve Foundry Local initialize edilir
2. Model, Foundry Catalog üzerinden seçilir
3. Model indirilir ve lokal ortama kaydedilir
4. Model belleğe yüklenir
5. ONNX Runtime üzerinden inference işlemi gerçekleştirilir
6. Sonuç uygulamaya geri döndürülür

Foundry Local SDK kurulumu öncesinde en sık karşılaşılan yanlışlardan arasında biri Python’ın sistemleri tarafından tanınmamasıdır.

PowerShell üzerinde aşağıdaki yanlışlı alınabilir:

Python was hatırlatma found; koşan without arguments to yükleyen from the Microsoft Store, veya disable this shortcut from Settings > Apps > Advanced app settings > App execution aliases.

PATH Ayarı Nasıl Yapılır?

1. Ortam Değişkenleri Açılır

• System Properties > Environment Variables ekranı açılır

2. User Variables Altında Path Düzenlenir

“Path” değişkeni seçilerek Edit butonuna tıklanır.

3. Python Dizinleri Eklenir

Aşağıdaki dizinler PATH içerisine eklenmelidir:

• *C:\Users\win_admin\AppData\Local\Programs\Python\Python3xx*
• *C:\Users\win_admin\AppData\Local\Programs\Python\Python3xx\Scripts*

Not:
Buradaki Python3xx kısmı kurulu versiyona göre değişir (örneğin Python311, Python314 gibi)

Doğrulama

PATH güncellendikten sonraları terminal yeniden açılır ve aşağıdaki komut çalıştırılır:

python –version

Eğer versiyonu malumatsi dönüyorsa işlem başarılıdır.

Microsoft’un yayınladığı kurulum yöntemi, klasik tek başvuru kurulumu değildir. Bu yaklaşım, geliştiricilerin öz uygulamalarına yerel AI yeteneklerini entegre etmesini sağlayan SDK (Software Development Kit) modeline dayanmaktadır.

Bu nedenle bu bölümde anlatılan kurulum:

• Bir arayüz (UI) kurmaz
• ChatGPT benzeri tek başvuru oluşturmaz
• Doğrudan terminalden kullanılabilir tek servis değildir

Bunun yerine, başvuru geliştirme sürecine entegre edilen tek runtime sağlar.

SDK Kurulumu

Foundry Local SDK, kullanılan programlama diline göre farklı şekillerde kurulabilir.

Python Kurulumu

Windows ortamı için önerilen kurulum:

pip yükleyen foundry-local-sdk-winml

Diğer platformlar için:

pip yükleyen foundry-local-sdk

Bu kurulum ile birlikte:

• Foundry Local Core
• ONNX Runtime
• Model yönetim bileşenleri

otomatik olarak sisteme karışmış edilir.

Kurulum sonrası doğruma için aşağıdaki python kodununu .py uzantılı keydedin ve çalıştırın.

from foundry_local_sdk import Configuration, FoundryLocalManager # Initialize Foundry Local config = Configuration(app_name="foundry_local_samples") FoundryLocalManager.initialize(config) manager = FoundryLocalManager.instance # Download and yükleyen a modeller from the catalog model = manager.catalog.get_model("qwen2.5-0.5b") model.download() model.load() # Get a chat client client = model.get_chat_client() # Create and gönderen mesajlar içinde OpenAI format messages = [ {"role": "user", "content": "What is the altın ratio?"} ] response = client.complete_chat(messages) # Response içinde OpenAI format print(f"Response: {response.choices[0].message.content}") # Unload the modeller from memory model.unload()

Foundry Local CLI Kurulumu

Bir önceki bölümde Foundry Local’ın SDK tabanlı kurulumu ele alınmış ve bu yaklaşımın daha çok geliştiricilere yönelik olduğu belirtilmiştir.

Bu bölümde ise Foundry Local’ın doğrudan kullanılabilen CLI (Command Line Interface) kurulumu incelenecektir.

CLI kurulumu sayesinde:

• Herhangi tek geliştirme yapmadan
• Ek tek başvuru yazmaya lüzum kalmadan
• Doğrudan terminal üzerinden

Yapay zeka modelleri indirilebilir ve çalıştırılabilir.

Foundry Local CLI kurulumu, Windows ortamında winget (Windows Package Manager) kullanılarak gerçekleştirilmektedir.

Kurulumu başlatmak için aşağıdaki komut çalıştırılır:

winget yükleyen Microsoft.FoundryLocal

Foundry Local kurulumu tamamlandıktan sonraları sistemde kullanılabilir modelleri görüntülemek için aşağıdaki komut kullanılır:

foundry modeller list

Foundry Local Modellerinin Kullanım Alanları

• Qwen Serisi (Genel Amaçlı / Chat / Tool Use)
  • Metin üretimi
  • Soru-yanıt
  • Chatbot uygulamaları
  • Tool (araç) kullanımı
  • Genel AI asistanı
  • Versiyonlar: 0.5B, 1.5B, 7B, 14B

• Qwen Coder Serisi (Yazılım Geliştirme)
  • Kod yazma
  • Kod tamamlama
  • Debug önerileri
  • Script oluşturma
  • API kullanım örnekleri üretme

• Phi Serisi (Microsoft – Hafif ve Optimize Modeller)
  • Hızlı chat işlemleri
  • Düşük imkan tüketimi
  • Genel amaçlı AI kullanımı
  • Edge cihazlar için ideal

• Phi Reasoning Serisi (Akıl Yürütme Odaklı)
  • Mantık yürütme
  • Analitik sualn çözme
  • Karmaşık sual çözümü
  • Karar hayır sistemleri

• GPT OSS (Open Source Büyük Modeller)
  • Gelişmiş metinleri üretimi
  • Uzun içerik oluşturma
  • Yüksek doğrulukta yanıtlar
  • Büyük ölçekli AI uygulamaları

• Mistral Serisi (Yüksek Performanslı Chat Modelleri)
  • Chat ve içerik üretimi
  • Yüksek kaliteli metinleri oluşturma
  • Dmanii icra / hız
  • Orta ve büyük ölçekli sistemler

• DeepSeek Serisi (Reasoning + Kod + Analiz)
  • Gelişmiş analiz
  • Kod üretimi
  • Matematiksel işlemler
  • Akıl yürütme ve sualn çözme

• Whisper Serisi (Speech-to-Text)
  • Ses → metinleri dönüşümü
  • Konuşma transkripsiyonu
  • Mikrofon verisi analizi
  • Altyazı ve kayıt çözümleri

• Speech / Audio Modelleri (Genel)
  • Ses işleme
  • Konuşma tanıma
  • Gerçek zamanlı transkripsiyon
  • (Whisper bu kategoriye girer)

• Multi-Purpose Modeller (Chat + Tools + Kod)
  • Çok yönlü kullanım
  • Chat + tool entegrasyonu
  • API çağrıları
  • Otomasyon senaryoları
  • Örnek: Qwen, Mistral bazı varyantlar

Model seçimi yapıldıktan sonraları Foundry Local ile AI modelini çalıştırmak için aşağıdaki komut kullanılır:

foundry modeller koşan qwen2.5-0.5b

Foundry Local yalnızca CLI üzerinden değil, aynı zamanda modeller katalog arayüzü üzerinden da modeller keşfi yapmanıza olanak sağlar.

Microsoft Foundry Local, yapay zeka modellerini gökyüzü bağımlılığı olmadan doğrudan alet üzerinde çalıştırmayı mümkün kılan modern ve güçlü tek çözümdür. Bu rehberde hem SDK tabanlı entegrasyon yaklaşımı hem da CLI ile doğrudan kullanım senaryosu detaylı şekilde ele alınmıştır.

Kurulum süreci incelendiğinde Foundry Local’ın ikisi farklı kullanım modeli sunduğu netler şekilde görülmektedir:

• SDK yaklaşımı, geliştiricilerin öz uygulamalarına AI yeteneklerini entegre etmesine olanak tanır
• CLI yaklaşımı ise hiç tek geliştirme yapmadan hızlı tek şekilde modeller çalıştırmayı sağlar

Bu esneklik, Foundry Local’ı hem yazılım geliştiriciler hem da sistemleri mühendisleri için oldukça değerli tek araç haline getirmektedir.