Uyumluluk: Pactmark 0.2.x. Bu senaryo
research-evidence-agent örneğini yansıtır. Fixture modu
çevrimdışıdır ve CI’da zorunludur; createExternalSearchAdapter, canlı erişim açıkça
etkinleştirilmedikçe kapalı biçimde başarısız olur ve depo hiçbir sağlayıcı uygulaması içermez.Durum
Bir pazar istihbaratı ekibi bir araştırma brifingi istiyor: bir konuda kaynak topla, iddiaları çıkar, atıfla ve bir insanın kontrol edebileceği bir çıktı üret. Herkesin bildiği hata biçimi uydurulmuş atıftır — var olmayan bir sayfa için makul görünen bir URL ve başlık. Pactmark bir modelin makul görünen bir atıf üretmesini engelleyemez. Yapabildiği şey, denetlenmiş ile denetlenmemiş arasındaki farkı yapısal olarak görünür kılmaktır.İnsanların karıştırdığı iki soru
Bu atıf iyi biçimlendirilmiş ve iç tutarlı mı?
Deterministik bir denetim. URL ayrıştırılıyor mu, alıntılanan aralık alınan baytlarda var mı, özet
çekilenle eşleşiyor mu?
Bu kaynak yetkin ve sonuç doğru mu?
Bu hiç denetim değildir. Bir muhakemedir ve hiçbir doğrulayıcı onu olgu yapmaz.
WorkOrder
maxRunToolResultContextBytes burada her yerden daha önemlidir. Araştırma ajanları büyük belgeler
çeker ve sınırsız bir bağlam hem bir maliyet problemi hem bir injection yüzeyidir.
Asıl güvenlik hikâyesi egress’tir
Şekil 1. 6 ve 7 numaralı sınırlar bir araştırma ajanının yaşadığı yerdir. Okuduğu her şey güvenilmezdir ve ulaştığı her şey önceden beyan edilmiş olmalıdır.Doğrulama: biçim, doğruluk değil
Bu, atıf uydurmaya karşı mevcut en güçlü yanıttır ve hâlâ “kaynak doğrudur” değildir. Yanlış bir
kaynağa yapılmış iyi biçimlendirilmiş bir atıf, iyi biçimlendirilmiştir.
Kanıt
Şekil 2. Araştırma işinde kaydı dürüst tutan sütun sağdakidir.Varsayılan olarak çevrimdışı
Referans örnek fixture modunda çalışır: deterministik kaynaklar, ağ yok, CI’da zorunlu.createExternalSearchAdapter, canlı erişim açıkça etkinleştirilmedikçe kapalı biçimde başarısız olur
ve depoda hiçbir sağlayıcı uygulaması yoktur.
Testler için neden önemli
Testleri canlı internete giden bir araştırma ajanı, kararsız testleri ve sınırsız faturası olan bir
araştırma ajanıdır.
İnceleme için neden önemli
Çevrimdışı varsayılan, ağ erişimini açmayı görünür ve incelenebilir bir karar hâline getirir.
Hâlâ sizde olanlar
Research evidence örneği
Bu senaryonun çalıştırılabilir hâli.
MCP entegrasyonu
Dış arama araçlarını, yetkilerini benimsemeden eklemek.