Yapay zekâ ajanına araç vermek: asıl iş entegrasyon katmanında

Sohbet eden bir yapay zekâ ile iş yapan bir yapay zekâ arasındaki fark tek bir şey: araçlar. Ajan randevu oluşturabiliyorsa, stok sorabiliyorsa, fatura kesebiliyorsa iş görür. Bunları yapamıyorsa akıllı bir metin kutusudur.

Araç, ajanın elidir

Model bir soruyu anlar ve cevap üretir. Ama "yarın 14:00'e randevu al" cümlesini gerçek bir randevuya çeviren şey model değil, arkasındaki takvim entegrasyonudur. Ajan mimarisinde zaman ve emeğin büyük kısmı model tarafında değil, bu entegrasyon katmanında geçer. Sahada gördüğümüz tablo genelde şu: prompt bir günde oturur, araç katmanı haftalarca olgunlaşır.

Araç açıklaması bir arayüz sözleşmesidir

Ajana verdiğiniz her aracın adı, parametreleri ve açıklaması, modelin o aracı ne zaman kullanacağına karar verdiği tek kaynaktır. Burada muğlaklık bırakırsanız model tahmin eder ve genelde kibarca yanlış tahmin eder. İki örnek:

• Kötü: search(query) — "Arama yapar." Neyi arar? Müşteriyi mi, ürünü mü, geçmiş kaydı mı?
• İyi: musteriAra(telefon veya ad) — "Kayıtlı müşterileri telefon numarası veya ad ile arar. Ürün araması için kullanılmaz." Sınırı da yazdığınız için model yanlış yere uzanmaz.

Araç açıklamalarını dokümantasyon gibi değil, arayüz sözleşmesi gibi yazın. Ne yaptığı kadar ne yapmadığı da önemlidir.

Az araç, iyi araç

Ajana kırk araç verirseniz doğru olanı seçme ihtimali düşer. Sisteminizdeki her endpoint'i araç olarak açmak yerine, kullanıcının gerçekten istediği işlere karşılık gelen az sayıda araç tasarlayın. Çoğu zaman üç iyi tasarlanmış araç, on beş ham endpoint'ten daha isabetli çalışır.

Okuma ve yazma araçlarını ayırın

Veri okuyan araçlar ile veri değiştiren araçlar aynı güven seviyesinde olmamalı. Okuma serbest olabilir; yazma, silme ve para hareketi içeren işlemler için onay basamağı koyun. Bu ayrımı baştan yapmak, sonradan "ajan yanlışlıkla kaydı güncellemiş" konuşmasını hiç yaşamamanızı sağlar. Bu konuyu insan onayı yazısında daha ayrıntılı ele almıştık.

Her araç çağrısı bir dış sisteme bağımlılıktır

Ajanınız artık sizin kodunuzun yanında CRM'e, takvime, ödeme sağlayıcısına da bağlı. O sistemlerin yavaşlaması ajanı yavaşlatır, hata vermesi ajanı kilitler. Pratikte üç şey işe yarıyor:

• Zaman aşımı: her araç çağrısının bir üst sınırı olsun; ajan sonsuza kadar beklemesin.
• Geçici ve kalıcı hata ayrımı: 5xx tekrar denenebilir, 4xx denenmemelidir. Kalıcı hatada ajan kullanıcıya durumu söylesin.
• İzlenebilirlik: hangi çağrının hangi parametreyle yapıldığı loglanmazsa, hatalı bir sonucun sebebini bulmak imkânsıza yakındır.

Ne zaman ajan, ne zaman düz otomasyon

Adımları sabit olan bir süreçte ajana ihtiyacınız yok; klasik bir iş akışı daha ucuz, daha hızlı ve daha öngörülebilir çalışır. Ajan, adımların baştan bilinmediği, kullanıcının serbest metinle geldiği durumlarda kazandırır. Bu ayrımı otomasyon yazısında ayrıca konuşmuştuk.

Özet

Ajan projelerinde başarı, model seçiminden çok araç tasarımına bağlı. Az sayıda, sınırı net çizilmiş, okuma-yazma ayrımı yapılmış ve hataya karşı korunmuş araçlarla çalışan bir ajan, kırk araca sahip olandan neredeyse her zaman daha isabetli iş yapar.