Labs

Çalışmalarımızda kullandığımız, sınıflandırma ve graf kararlarını takip ettiğimiz iki mini laboratuvarı inceleyebilirsiniz.

Encoder Lab

Encoder Lab, bir sohbet asistanının önüne konan encoder katmanının (BGE-M3, multilingual-e5-large) cevap kalitesine etkisini ölçmek için kurduğumuz deney laboratuvarı. Aynı konuşma farklı konfigürasyonlarla yeniden oynatılır, sonuçlar yan yana konur.

Senaryo × konfigürasyon = run: Bir konuşma senaryosu; encoder, enjeksiyon biçimi, sistem prompt'u ve LLM modelinden oluşan her konfigürasyonla ayrı ayrı çalıştırılır.
Her tur kayıt altında: Encoder'ın seçtiği kategori ve skorlar, LLM'e giden son prompt, oturum durumu, gecikme ve token tek ekrandan izlenir.
Durum ≠ bağlam: Sohbet boyunca biriken bilgi (aktif kategori, varlıklar) ayrı tutulur; LLM'e her turda yalnız gereken kısmı gider.

Karşılaştırma ekranı — **Karşılaştırma:** aynı dört turluk senaryo üç konfigürasyonla (e5-large, bge-m3, encoder'sız) yan yana; ortalama encoder skoru, süre ve token farkları üstte.

Run ekranında 3. tur: encoder çıktısı ve oturum durumu — **Konu kayması anı:** kullanıcı otelden e-ticarete geçiyor. BGE-M3 'e_ticaret'i 0,79 skorla buluyor, oturum durumu ise 'otel_turizm'de kalıyor. Lab bu tür farkları görünür kılmak için var.

Analiz ekranı, Encoder sekmesi — **Analiz · Encoder:** kategori dağılımı, skor histogramı ve konfigürasyon bazında ortalama skor (bge-m3 0,75 · e5-large 0,89). Skor ölçeği modele göre değiştiği için eşik her model için ayrı seçilir.

Graph Lab

Graph Lab, ajan akışlarını basitten karmaşığa kurup her adımını izlediğimiz laboratuvar. Düz zincirden yönlendiriciye, araç döngüsünden kalite kontrolüne, insan onay kapısından alt graflara kadar sekiz akış aynı arayüzde çalışır.

Graf canlı izlenir: Her düğüme ne girdi, ne çıktı; kenar hangi kararı hangi gerekçeyle verdi; LLM'e hangi prompt gitti, kaç token tuttu.
Veri setiyle değerlendirme: Her akışın beklenen sonuçları olan bir veri seti var; varyantlar başarı oranı, karışıklık tablosu, rota doğruluğu, gecikme ve maliyetle ölçülür.
Varyant karşılaştırması: İki değerlendirme yan yana: hangi örnek düzeldi, hangisi bozuldu, bunun bedeli ne oldu belirlenir.

Kalite döngüsü akışının grafı ve zaman çizelgesi — Gördüğünüz lab ile graph'la taşınan her bağlam/state ve kenar kararları, tüm olası durumlar ve sonuçlar için izlenebilir bir yapı sağlıyor. Graph tabanlı kurulacak her türlü sürecin denemesini mümkün kılıyor.

Değerlendirme ekranı — **Değerlendirme:** 63 örneklik veri setinde metrik kutuları, örnek bazında rota ve kontroller, karışıklık matrisleri.

İki değerlendirmenin karşılaştırması — **Karşılaştırma:** kalite döngüsü kapalı (A) ve açık (B). Başarı %92,1'den %98,4'e çıkıyor; dört örnek düzeliyor, hiçbiri bozulmuyor; karşılığında gecikme ve maliyet artıyor.