Gölge Mod: AI Ajanını Canlıya Almadan Değerlendirme Rehberi

Öne çıkanlar

Gölge modda ajan gerçek veriyle çalışır ama hiçbir sisteme yazmaz.
Her öneri, aynı vaka için verilen analist kararıyla yan yana kaydedilmelidir.
Hataları ciddiyete göre sınıflandırın: tek bir kritik hata, birçok küçük hatadan daha önemlidir.
Çıkış takvime değil, önceden yazılmış kriterlere bağlı olmalıdır.

Gölge mod, bir AI ajanının üretim verisiyle ve gerçek iş akışı içinde çalıştığı, ancak önerilerinin hiçbir sisteme uygulanmadığı değerlendirme dönemidir. Amaç, ajanın kararlarını aynı vakalara insan analistlerin verdiği kararlarla karşılaştırmak ve canlıya alma kararını kanıta dayandırmaktır. Test ortamındaki demo ile gölge mod arasındaki fark, ikincisinin gerçek gürültüyü, eksik veriyi ve beklenmedik vakaları içermesidir.

Gölge modun kurulumu

Ajan salt okunur yetkiyle bağlanır; yazma yetkisi teknik olarak yoktur, yalnızca kural olarak yasaklanmış değildir.
Ajanın önerileri ayrı bir kuyruğa veya rapora yazılır; analistin ana çalışma ekranını kirletmemesi için tercihen ayrı bir görünüm kullanılır.
Her öneri, ilgili vaka veya talep kimliğiyle eşleştirilir, böylece sonradan analist kararıyla yan yana konabilir.
Ajanın kullandığı model sürümü, istem (prompt) sürümü ve araç yapılandırması kayda geçirilir; değerlendirme sırasında değişirse bu not edilir.

Neyi ölçmeli?

Karar uyumu

Ajanın önerisi (örneğin "false positive, kapat" veya "yükselt, kimlik ekibine ata") analistin nihai kararıyla örtüşüyor mu? Uyum tek başına yeterli değildir, çünkü analist de hata yapabilir. Uyuşmayan vakaları ayrıca inceleyin; bazen ajanın haklı olduğu durumlar süreç iyileştirmesi için değerli bulgulardır.

Gerekçe kalitesi

Ajanın neden bu sonuca vardığını açıklayan notu, bir analistin onay verirken ihtiyaç duyacağı bilgiyi içeriyor mu? Kaynak loglara bağlantı veriyor mu? Doğru karar ama anlaşılmaz gerekçe, canlıda onay sürecini yavaşlatır.

Kapsam ve çeşitlilik

Değerlendirme, yalnızca kolay ve sık görülen vakalardan oluşuyorsa yanıltıcıdır. Vaka tiplerini kategorilere ayırın ve her kategoride yeterli örnek görülene kadar devam edin. Nadir ama yüksek etkili vaka tipleri için gerekirse geçmiş vakalarla tekrar oynatma (replay) yapın.

Operasyonel davranış

Ajan yanıt veremediğinde, veri kaynağı erişilemez olduğunda veya beklenmedik bir girdiyle karşılaştığında ne yapıyor? Güvenli varsayılan, belirsizlikte insana devretmektir. Ajanın emin olmadığını söyleyebilmesi, her şeye yanıt vermesinden daha değerlidir.

Hata sınıflandırması

Her uyumsuzluğu aynı ağırlıkta saymayın. Basit bir sınıflandırma önerisi:

Kritik: Canlıda uygulanmış olsaydı gerçek bir tehdidin gözden kaçmasına veya iş kesintisine yol açacak öneri (örneğin gerçek bir saldırıyı false positive olarak kapatmak, kritik bir sunucuyu izole etmek).
Önemli: Yanlış önceliklendirme veya yanlış ekibe atama gibi gecikmeye yol açacak hatalar.
Küçük: Kararı etkilemeyen ama gerekçe veya biçimde düzeltme gerektiren hatalar.

Kritik hatalar için kök neden analizi yapın: eksik veri mi, belirsiz runbook mu, model davranışı mı? Kök nedene göre düzeltme farklıdır; her hatayı istem değişikliğiyle çözmeye çalışmak çoğu zaman başka hatalar doğurur.

Çıkış kriterleri

Gölge moddan çıkışı bir tarihe değil, önceden yazılmış ve paydaşlarca kabul edilmiş kriterlere bağlayın. Örnek kriter seti:

Tanımlı vaka kategorilerinin her birinde, ekibin yeterli gördüğü sayıda vaka değerlendirildi.
Son değerlendirme döneminde kritik sınıfta hata görülmedi veya görülenlerin kök nedeni giderildi ve yeniden test edildi.
Analistler ajan gerekçelerini onay için yeterli buluyor.
Onay akışı, kapatma anahtarı ve geri dönüş prosedürü test edildi.
Canlıya alınacak görev kapsamı ve yetki seti yazılı olarak onaylandı.

Gölge modun bitmemesi

Model, istem veya veri kaynağı değiştiğinde ajanın davranışı da değişebilir. Bu nedenle her önemli değişiklikten sonra kısa bir gölge dönem uygulamak ve canlıdaki önerilerden düzenli örneklem alıp inceleme yapmak iyi bir uygulamadır. Gölge mod bir kez geçilen bir sınav değil, değişiklik yönetiminin bir parçasıdır.

Sık sorulan sorular

Gölge mod ne kadar sürmeli?

Sabit bir süre yoktur. Vaka hacminize ve çeşitliliğinize bağlı olarak, çıkış kriterleri karşılanana kadar sürmelidir.

Analistler gölge modda ekstra iş yapmak zorunda mı?

Biraz. Uyumsuz vakaları incelemek zaman ister; bu yükü planlamak ve değerlendirmeyi örneklem üzerinden yapmak yükü yönetilebilir tutar.

Geçmiş vakalarla test yeterli mi?

Tamamlayıcıdır ama yeterli değildir. Canlı veri akışındaki gecikme, eksik alan ve yeni vaka tipleri ancak gölge modda görülür.

İlgili çözümler

İlgili rehberler

confidenya

Bu adımları kendi ortamınızda planlayalım

Hiçbir değişiklik insan onayı olmadan canlıya alınmaz. Güvenlik ürünlerinizin yönetimini AI ajanlarına kademeli ve denetlenebilir şekilde devretmek için ekibimizle görüşün.

Ekibimizle görüşün

Bu içerik genel bilgilendirme amaçlıdır. Kurumunuza özel kararlar için uzman değerlendirmesi önerilir.

Gölge mod (shadow mode): AI ajanını canlıya almadan önce nasıl değerlendirilir