Arkadaşlar merhaba, uzun zamandır iş yerinde kullanmak için bir yapay zeka asistanı entegre etmeye çalışıyorum. Müşteri hizmetleri ve belge özetleme gibi alanlarda denemeler yapıyoruz ama asıl sıkıntı, bu modelleri gerçek dünya senaryolarında test ederken karşımıza çıkıyor. Mesela, teoride harika çalışan bir chatbot, müşteri agresif bir dille yazdığında ya da beklenmedik bir teknik terim kullandığında tamamen saçmalıyor. Benim merak ettiğim, siz iş yerlerinizde bu tür gerçekçi test senaryolarını nasıl oluşturuyorsunuz? Elimizdeki verileri kullanarak mı yoksa tamamen yapay senaryolar mı üretiyorsunuz? Özellikle "edge case" dediğimiz uç noktalardaki hataları yakalamak için ne gibi yöntemler denediniz?
Bir de şu konu var: Test ortamıyla canlı ortam arasındaki fark. Ben ofiste mükemmel çalışan bir modeli canlıya aldığımda, kullanıcıların tamamen farklı bir dil kullandığını gördüm. Kısaltmalar, argo ifadeler, yazım hataları derken model iyice kafayı yiyor. Siz bu farkı kapatmak için nasıl bir strateji izliyorsunuz? Test aşamasında kullanıcı davranışlarını simüle eden özel araçlar mı kullanıyorsunuz, yoksa gerçek kullanıcılarla kapalı beta mı yapıyorsunuz? Ben şahsen birkaç haftalık bir canlı test sürecinin şart olduğunu düşünüyorum, ama bu da müşteri deneyimini riske atıyor.
Son olarak, test sonuçlarını değerlendirme kriterleri hakkında ne düşünüyorsunuz? Sadece doğruluk oranına mı bakıyorsunuz, yoksa kullanıcı memnuniyeti, yanıt süresi veya modelin kendini düzeltme kabiliyeti gibi metrikleri de mi hesaba katıyorsunuz? Benim gözlemim, iş yapay zekasında "gerçekçi" testin en zor kısmının, modelin ne zaman "bilmiyorum" demesi gerektiğini öğretmek olduğu. Bu konuda deneyimi olan varsa, özellikle hangi senaryoları zorunlu test paketinize eklediğinizi duymak isterim.
Bir de şu konu var: Test ortamıyla canlı ortam arasındaki fark. Ben ofiste mükemmel çalışan bir modeli canlıya aldığımda, kullanıcıların tamamen farklı bir dil kullandığını gördüm. Kısaltmalar, argo ifadeler, yazım hataları derken model iyice kafayı yiyor. Siz bu farkı kapatmak için nasıl bir strateji izliyorsunuz? Test aşamasında kullanıcı davranışlarını simüle eden özel araçlar mı kullanıyorsunuz, yoksa gerçek kullanıcılarla kapalı beta mı yapıyorsunuz? Ben şahsen birkaç haftalık bir canlı test sürecinin şart olduğunu düşünüyorum, ama bu da müşteri deneyimini riske atıyor.
Son olarak, test sonuçlarını değerlendirme kriterleri hakkında ne düşünüyorsunuz? Sadece doğruluk oranına mı bakıyorsunuz, yoksa kullanıcı memnuniyeti, yanıt süresi veya modelin kendini düzeltme kabiliyeti gibi metrikleri de mi hesaba katıyorsunuz? Benim gözlemim, iş yapay zekasında "gerçekçi" testin en zor kısmının, modelin ne zaman "bilmiyorum" demesi gerektiğini öğretmek olduğu. Bu konuda deneyimi olan varsa, özellikle hangi senaryoları zorunlu test paketinize eklediğinizi duymak isterim.