Bir LLM çağrısıyla çalışan demo yapmak artık çok kolay. Ama o demoyu binlerce kullanıcıya güvenle açmak bambaşka bir mühendislik. OpenAI ve Anthropic modellerini üretimde kullanırken öğrendiğim birkaç pratik dersi paylaşıyorum.

1. Modeli doğrudan kullanıcıya bağlamayın

Tarayıcıdan doğrudan model API'sine istek atmak; anahtar sızıntısı, kontrolsüz maliyet ve kötüye kullanım demektir. Araya kendi sunucunuzu koyun. Bu katman size üç şey kazandırır: kimlik doğrulama, hız sınırlama (rate limit) ve istem/yanıt loglama.

2. İstemleri kod gibi yönetin

İstemler (prompt) zamanla değişir. Onları koda gömmek yerine versiyonlanabilir, test edilebilir hale getirin. Küçük bir değişiklik çıktıyı bozabilir; bu yüzden kritik istemler için birkaç örnek girdi-çıktı çiftiyle basit bir regresyon testi tutmak çok işe yarıyor.

3. Gecikmeyi (latency) gizleyin

LLM yanıtları yavaş olabilir. Kullanıcı boş ekrana bakmasın:

• Akış (streaming) kullanın; yanıt token token gelsin.
• Mümkünse işi arka plana alın ve kullanıcıyı bekletmeyin.
• Sık sorulan girdiler için yanıtları önbelleğe alın.

4. Maliyeti baştan tasarlayın

Her çağrının bir bedeli var. Birkaç basit kural maliyeti ciddi düşürür:

• Göndereceğiniz bağlamı kırpın; modele gereksiz metin yollamayın.
• Basit işler için küçük/ucuz modeli, zor işler için güçlü modeli seçin (model yönlendirme).
• Aynı girdiye aynı yanıtı veriyorsanız önbellek şart.

5. Çıktıya asla körü körüne güvenmeyin

Model bazen kendinden emin bir şekilde yanlış cevap verir. Çıktıyı kullanıcıya veya veritabanına yazmadan önce doğrulayın:

// Yapılandırılmış çıktı bekliyorsanız şemayla doğrulayın
const parsed = schema.safeParse(JSON.parse(modelOutput));
if (!parsed.success) {
  // tekrar dene, düzelt ya da güvenli bir varsayılana düş
}

Yapılandırılmış çıktı (JSON şeması / tool calling) kullanmak, serbest metni regex'le ayıklamaya çalışmaktan çok daha sağlam.

6. Her şeyi loglayın

Hangi istem, hangi model, kaç token, ne kadar sürdü, kullanıcı memnun kaldı mı? Bu veriler olmadan ne maliyeti ne de kaliteyi iyileştirebilirsiniz. Loglar, bir sonraki istem iyileştirmesinin de kaynağı olur.

Özet

LLM demosu kolay, LLM ürünü zordur. Kendi sunucunuzdan geçirin, istemleri yönetin, gecikmeyi gizleyin, maliyeti tasarlayın, çıktıyı doğrulayın ve loglayın. Bu altı adım, oyuncak ile gerçek ürün arasındaki farkın büyük kısmını kapatıyor.