AutoGen’in Çok Ajanlı Konuşma Yapısıyla Yeni Nesil LLM Uygulamaları

“AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation” makalesine bir bakış atalım.

For English:

AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation

Bu makaleyle Microsoft Research, çok ajanlı konuşma kalıpları hakkında yeni fikirler ortaya koymuştur. Bu, otonom ajanlar üzerine son zamanlardaki en önemli makalelerden biridir.

Özet

AutoGen, görevleri gerçekleştirmek için birbirleriyle konuşabilen, birden fazla geliştirici ajan aracılığıyla LLM uygulamaları oluşturmasına olanak tanıyan, açık kaynaklı bir çerçevedir. AutoGen ajanları özelleştirilebilir, karşılıklı konuşabilir ve LLM, insan girdileri ve araçların kombinasyonlarını kullanan çeşitli modlarda çalışabilir. Geliştiriciler AutoGen’i kullanarak ajan etkileşim davranışlarını da esnek bir şekilde tanımlayabilir. Farklı uygulamalara yönelik esnek konuşma kalıplarını programlamak için hem doğal dil hem de bilgisayar kodu kullanılabilir.

AutoGen, çeşitli karmaşıklıklarda ve LLM kapasitelerinde çeşitli uygulamalar oluşturmak için genel bir altyapı görevi görür. Ampirik çalışmalar, matematik, kodlama, soru cevaplama, operasyon araştırması, çevrimiçi karar verme, eğlence vb. alanlardaki birçok örnek uygulamada çerçevenin etkinliğini göstermektedir.

Geniş Özet

• AutoGen, geliştiricilerin görevleri gerçekleştirmek için birbirleriyle konuşabilen birden fazla ajan aracılığıyla LLM (büyük dil modeli) uygulamaları oluşturmasına olanak tanıyan açık kaynaklı bir çerçevedir.
• AutoGen ajanları özelleştirilebilir, karşılıklı konuşabilir ve LLM, insan girdileri ve araçların kombinasyonlarını kullanan çeşitli modlarda çalışabilir.
• Geliştiriciler, konuşma kalıplarını programlamak için doğal dili veya bilgisayar kodunu kullanarak ajanın etkileşim davranışlarını esnek bir şekilde tanımlayabilir.
• AutoGen, çeşitli karmaşıklıklarda ve LLM kapasitelerinde çeşitli uygulamalar oluşturmak için genel bir çerçeve görevi görür.
• Ampirik çalışmalar, matematik, kodlama, soru cevaplama, yöneylem araştırması, çevrimiçi karar verme, eğlence vb. alanlardaki birçok örnek uygulamada çerçevenin etkinliğini göstermektedir.
• LLM Uygulamaları için Çok Ajanlı Konuşmalarının Faydaları AutoGen’de Otomatik Yanıt Mekanizmasıdır. AutoGen’deki otomatik yanıt mekanizması, iş akışını tanımlamanın merkezi olmayan, modüler ve birleşik bir yoludur ve konuşmanın otomatik olarak ilerlemesine olanak tanır (Eleti ve diğerleri, 2023).

AutoGen’de Kontrol

• AutoGen, konuşma akışını doğal dil istemleriyle kontrol etmek için LLM’leri kullanarak programlama ve doğal dil aracılığıyla kontrole olanak tanır.
• Sonlandırma koşullarını, insan girdisi modunu ve araç yürütme mantığını belirtmek için kullanılan Python koduyla AutoGen’de programlama dili kontrolü de mümkündür.
• AutoGen, LLM çıkarımı yoluyla koddan doğal dil kontrolüne geçiş ve LLM tarafından önerilen metod çağrıları yoluyla doğal dilden kod kontrolüne geçiş ile doğal dil ve programlama dili arasında esnek kontrol geçişini destekler.

Konuşma Programlama Paradigması

• AutoGen, önceden tanımlanmış akışla statik konuşma ve birden fazla ajanıyla dinamik konuşma akışları da dahil olmak üzere, çeşitli modellerdeki çok ajanlı konuşma destekler.
• Özelleştirilmiş yanıt oluşturma metodu ve metod çağrıları, dinamik konuşma akışları elde etmek için kullanılır; AutoGen ayrıca yerleşik GroupChatManager aracılığıyla daha karmaşık dinamik grup sohbetini de destekler.

AutoGen uygulamaları

• AutoGen, matematik problemi çözme, erişimle zenginleştirilmiş kod oluşturma ve soru yanıtlama, gerçek dünya ortamlarında karar verme ve çok ajanlı kodlama dahil olmak üzere yüksek performanslı çok ajanlı uygulamalar geliştirmek için kullanıldı.

AutoGen ile Matematik Problemi Çözme

• AutoGen, açık kaynaklı yöntemler ve ticari ürünler de dahil olmak üzere alternatif yaklaşımlarla karşılaştırıldığında daha iyi performans sağlayan yerleşik ajanlarla , otonom matematik problemlerini çözmek için bir sistem oluşturmak için kullanıldı.
• AutoGen ayrıca, insanlar olmadan çözülemeyen zorlu sorunları çözmek için sistemin insan girdilerini etkili bir şekilde bir araya getirdiği, döngüdeki insan problem çözme sürecini göstermek için de kullanıldı.

Almayla Artırılmış Kod Oluşturma (Retrieval Augmented Code Generation) ve Soru Yanıtlama

• AutoGen, Almayla Artırılmış Kullanıcı Proxy Ajanı ve Almayla Artırılmış Asistan Ajanından oluşan, Almayla Artırılmış Sohbet adlı bir Almayla Artırılmış Üretim (RAG) sistemi oluşturmak için kullanıldı.
• Erişimle zenginleştirilmiş Sohbet, hem soru cevaplama hem de kod oluşturma senaryolarında değerlendirildi; etkileşimli erişim mekanizması süreçte önemsiz olmayan bir rol oynadı.

Metin Dünyası Ortamlarında Karar Verme

• AutoGen, ALFWorld kıyaslamasındaki görevleri çözmek için uygulanan iki ajanlı bir sistemle etkileşimli veya çevrimiçi karar almayı içeren etkili uygulamalar geliştirmek için kullanıldı.
• Önemli sağduyulu bilgileri sağlamak için bir topraklama ajanı tanıtıldı ve sistemin hata döngülerine karışmayı önleme becerisini önemli ölçüde artırdı.

Çok Ajanlı Kodlama

• AutoGen, OptiGuide’ı temel alan çok ajanlı bir kodlama sistemi oluşturmak için kullanıldı; çekirdek iş akışı kodu 430'dan fazla satırdan 100 satıra düşürüldü ve bu da önemli düzeyde üretkenlik artışı sağladı.
• Çok ajanlı tasarımının, güvenli olmayan kodu belirlemede F1 puanını %8 ve %35 oranında artırdığı gösterilmiştir.

Görev Değerlendirmesinde Rol Yapma İstemleri

• Manuel olarak hazırlanmış 12 karmaşık görevden oluşan bir pilot çalışmada, bir rol yapma ipucunun kullanılması, konuşma bağlamının ve rol hizalamasının daha etkili bir şekilde değerlendirilmesine yol açtı, bu da daha yüksek bir başarı oranı ve daha az LLM çağrısıyla sonuçlandı (Hong ve diğerleri, 2023).

AutoGen Kullanarak Konuşmaya Dayalı Satranç

• Konuşmalı Satranç, oyuncular için yerleşik ajanlar ve standart kurallara göre bilgi sağlamak ve hareketleri doğrulamak için bir tahta ajanı içeren bir doğal dil arayüz oyunudur.
• AutoGen, Konuşmalı Satrançta iki temel özelliği etkinleştirir: doğal, esnek ve ilgi çekici oyun dinamikleri ve önerilen her hamlenin yasal olup olmadığını kontrol ederek oyun bütünlüğünü korumaya yönelik temellendirme.

AutoGen: Birleşik Bir Konuşma Arayüzü

• AutoGen, karşılıklı konuşulabilir ajanlar ve konuşma programlama paradigmalarını birleştiren, çoklu ajan işbirliğine uygun yetenekli ajanları kullanan açık kaynaklı bir kütüphanedir.
• Ajanlar arasında birleşik bir konuşma arayüzünün yanı sıra, çok çeşitli uygulamaları barındırırken geniş yeteneklere sahip, sohbet için optimize edilmiş LLM’lerin güçlü yanlarından yararlanan bir ajan-etkileşim arayüzü oluşturmaya yardımcı olan otomatik yanıt mekanizmalarına sahiptir.

AutoGen’de Ajanların Kullanımına İlişkin Öneriler

• Öncelikle AssistantAgent ve UserProxyAgent gibi yerleşik ajanları kullanmayı düşünün ve bunları insan girdisi moduna, sonlandırma koşuluna, kod yürütme yapılandırmasına ve LLM yapılandırmasına göre özelleştirin.
• İki ajanlı sohbet veya grup sohbeti kurulumu gibi basit bir konuşma topolojisiyle başlayın ve özel bir yanıt yöntemini uygulamadan önce LLM, araç veya insana dayalı yerleşik yanıt yöntemlerini yeniden kullanmayı deneyin.
• UserProxyAgent ile yeni bir uygulama geliştirirken, her zaman döngüde olan insanlarla başlayın ve belirli uygulamalar veya görevler için gerektiğinde diğer kitaplıkları/paketleri kullanmayı düşünün.

Gelecek Çalışmalar

• Optimum çok ajanlı iş akışlarının tasarlanması, son derece yetenekli ajanların oluşturulması ve ölçek, güvenlik ve insan katılımının sağlanması AutoGen için önemli araştırma yönleridir.
• Art arda gelen arızalara karşı güvenlik önlemleri oluşturmak, ödül korsanlığını (reward hacking), kontrol dışı ve istenmeyen davranışları azaltmak, etkili insan gözetimini sürdürmek ve insan katılımının uygun düzeyini ve modelini anlamak, AutoGen ajanlarının güvenli ve etik kullanımı için çok önemlidir.

Görevleri Çözme Talimatları

• Gereksinime bağlı olarak görevleri çözmek için dil becerisini veya kod tabanlı yaklaşımı izleyin.
• Kod kullanıyorsanız kısmi kod veya kod değişiklikleri yerine tam kodu sağlayın.
• Komut dosyası türünü kod bloğuna ekleyin ve çıktı için ‘yazdır’ metodunu kullanın.
• Kodun yeniden çıktısını almadan önce yürütme sonucunu kontrol edin ve hataları düzeltin.
• Sorunu analiz edin ve kod başarıyla yürütüldükten sonra bile görev çözülmezse varsayımları yeniden gözden geçirin.
• Mümkünse yanıta doğrulanabilir kanıtlar ekleyin.
• Her şey bittiğinde sonunda “SONLANDIR” yanıtını verin.

Matematik Problem Çözme Sistemlerinin Değerlendirilmesi

• AutoGen, karşılaştırılan yöntemler arasında en yüksek problem çözme başarı oranına sahiptir.
• ChatGPT+Kod Yorumlayıcısı ve ChatGPT+Eklentisi belirli sorunları çözmeye çabalıyor.
• AutoGPT, kod yürütme sorunlarından kaynaklanan sorunlarda başarısız oluyor.
• LangChain ajanı problemlerde başarısız oluyor ve tüm denemelerde yanlış cevaplar üretiyor.

Döngüdeki İnsan Sorun Çözme

• AutoGen her üç denemede de sorunu tutarlı bir şekilde çözdü.
• ChatGPT+Code Interpreter ve ChatGPT+Plugin, üç denemeden ikisinde sorunu çözmeyi başardı.
• AutoGPT hiçbir denemede doğru bir çözüm üretemedi.

Çok Kullanıcılı Sorun Çözme

• AutoGen, LLM’lerin yardımıyla bir sorunu toplu olarak çözmek için birden fazla gerçek kullanıcıyı içeren bir sistem oluşturmak için kullanılabilir.
• Bir öğrenci sorunları çözmek için bir LLM asistanıyla etkileşime girer ve LLM gerektiğinde otomatik olarak uzmana başvurur.
• Uzmanın sorun bildirimine veya sorunun çözümünü doğrulama talebine yanıt vermesi beklenir.
• Uzman ve uzmanın asistanı arasındaki konuşmanın ardından son mesaj, ilk mesaja yanıt olarak öğrenci asistana geri gönderilir.

Almayla Arttırılmış Sohbet İş Akışı

• Almayla Artırılmış Kullanıcı Proxy’si, yerleştirme benzerliğine dayalı olarak belge parçalarını alır ve bunları soruyla birlikte Almayla Artırılmış Asistan’a gönderir.
• Almayla Geliştirilmiş Asistan, verilen soruya ve bağlama göre yanıt olarak kod veya metin oluşturur.
• LLM tatmin edici bir yanıt üretemezse, Almayla Artırılmış Kullanıcı Proxy’sine “Bağlamı Güncelle” ile yanıt verir.
• Yanıt kod blokları içeriyorsa, Almayla Artırılmış Kullanıcı Proxy’si kodu yürütür ve çıktıyı geri bildirim olarak gönderir.
• İnsan girdisi talebi etkinleştirilirse bireyler, “Güncelleme Bağlamı” da dahil olmak üzere her türlü geri bildirimi proaktif olarak Almayla Artırılmış Asistan’a gönderebilir.

Matematik Problem Çözme Sistemlerinin Sınırlamaları

• BabyAGI, CAMEL ve MetaGPT, matematik problemlerini kutudan çıktığı gibi çözmek için uygun seçimler değildir.
• MetaGPT sorunu çözmek için yazılım geliştirmeye başlar ancak çoğu zaman sorunu çözmez.
• LLM, yazdırma metodu olmadan kod verir, böylece sonuç yazdırılmaz.
  Wolfram Alpha’nın çıktısı, doğru cevap da dahil olmak üzere 2 basitleştirilmiş sonuç içerir ancak GPT-4 her zaman yanlış cevabı seçmektedir.
• LangChain hesaplama hatalarından dolayı 3 farklı yanlış cevap vermektedir.

Senaryo 1: Doğal Sorular QA Veri Kümesinin Değerlendirilmesi

• Almayla Geliştirilmiş Sohbet’in uçtan uca soru cevaplama performansı, Doğal Sorular veri seti kullanılarak değerlendirilir (Kwiatkowski ve diğerleri, 2019).
• HuggingFace’ten 5.332 yedeksiz içerik belgesi ve 6.775 sorgu toplandı.
  Bağlamın tamamı temel alınarak bir belge koleksiyonu oluşturulur ve vektör veritabanında saklanır.
• Sistem, soruları yanıtlamak için Almayla Artırılmış Sohbet’i kullanır.
  Etkileşimli erişim özelliğinin avantajları, NQ veri kümesinden alınan bir örnek ajanıyla gösterilmiştir.
• LLM asistanı (GPT-3.5-turbo) “Kusura bakmayın, açılış töreninde ABD bayrağını kimin taşıdığına dair herhangi bir bilgi bulamıyorum.
• GÜNCELLEME BAĞLAMI.” soruya cevap veremediğinde ajan, bağlam güncellendikten sonra soruya doğru yanıtı üretebilir.
• AutoGen W/O etkileşimli alımının avantajlarını araştırmak için (Adlakha ve diğerleri, 2023)’te gösterilenle aynı komut kullanılarak bir deney gerçekleştirilir.
• İlk 500 soru için F1 puanı ve Geri Çağırma sırasıyla %23,40 ve %62,60'tır.
• Doğal Sorular veri kümesindeki soruların yaklaşık %19,4'ü bir “Bağlamı Güncelle” işlemini tetikleyerek ek LLM çağrılarına neden olur.

Senaryo 2: Kod Tabanındaki En Son API’lerden Yararlanarak Kod Oluşturma

• Soru şu: “Bir sınıflandırma görevini gerçekleştirmek için FLAML’i nasıl kullanabilirim ve paralel eğitim için Spark’ı nasıl kullanabilirim? 30 saniye eğitim verin ve zaman sınırına ulaşıldığında işleri iptal etmeye zorlayın.”.
• Orijinal GPT-4 modeli, Spark ile ilgili API’lere ilişkin bilgi eksikliği nedeniyle doğru kodu oluşturamıyor.
• Almayla Artırılmış Sohbet ile en son referans belgeleri bağlam olarak sağlanır.
• GPT-4, kıvılcım ve kuvvet iptalini True olarak ayarlayarak doğru kod bloklarını oluşturur.

Gözlem: ALFWorld (Shridhar ve diğerleri, 2021)

• ALFWorld, gerçek dünyadaki ev sahnelerini simüle eden sentetik dil tabanlı etkileşimli bir karar verme görevidir.
• Ajanın, verilen birkaç örnekten kalıpları çıkarması ve görev kurallarını tam olarak anlamak için bunları ajanın ev ortamlarına ilişkin genel bilgisiyle birleştirmesi gerekir.

Figürler

Şekil 1: AutoGen, çoklu ajan konuşmalarını kullanarak çeşitli LLM tabanlı uygulamalar oluşturmaya olanak tanır. (Solda) AutoGen ajanları konuşulabilir, özelleştirilebilir ve LLM’lere, araçlara, insanlara ve hatta bunların bir kombinasyonuna dayanabilir. (Üst-orta) Ajanlar görevleri çözmek için konuşabilir. (Sağda) Potansiyel olarak döngüdeki insanlarla sohbet oluşturabilirler. (Alt-orta) Çerçeve esnek konuşma kalıplarını destekler.

Şekil 2: Çok ajanlı bir görüşmeyi programlamak için AutoGen’in nasıl kullanılacağını gösteren çizim. Üstteki alt şekil, AutoGen tarafından sağlanan, birleşik konuşma arayüzlerine sahip ve özelleştirilebilen yerleşik ajanları göstermektedir. Ortadaki alt şekil, özel yanıt metoduna sahip iki ajanlı bir sistem geliştirmek için AutoGen’in kullanılmasına ilişkin bir örneği göstermektedir. Alttaki alt şekil, programın yürütülmesi sırasında iki ajanlı sistemden elde edilen otomatik ajan sohbetini göstermektedir.

Şekil 3: AutoGen kullanılarak oluşturulan farklı uygulamaların altı örneği. Konuşma şekilleri AutoGen’in esnekliğini ve gücünü gösteriyor.

Şekil 4: Dört uygulama A1-A4'teki performans. (a) AutoGen ajanlarının matematik problemi çözme görevlerinde en rekabetçi performansı elde etmek için kutudan çıktığı gibi kullanılabileceğini gösterir; (b) AutoGen’in etkili erişim artırmayı gerçekleştirmek ve Soru-Cevap görevlerindeki performansı artırmak için yeni bir etkileşimli erişim özelliğini gerçekleştirmek için kullanılabileceğini gösterir; ©, ALFWorld’de performansı artırmak için AutoGen’in topraklama ajanlı üç ajanlı bir sistemi tanıtmak için kullanılabileceğini gösteriyor; (d) çok ajanlı bir tasarımın, koruma gerektiren kodlama görevlerinde performansı artırmaya yardımcı olduğunu gösterir.

Şekil 5: AutoGen’deki (v0.1.1) yerleşik yardımcı ajanı için varsayılan sistem mesajı. Bu, doğal dil ajanla konuşma programlamanın bir örneğidir. Rol yapma, akışı kontrol etme, çıktı sınırlama, otomasyonu kolaylaştırma ve topraklama dahil olmak üzere farklı türde talimatlar içerir.

Tablo 2: Otonom problem çözme senaryosu kapsamında MATH veri kümesinden iki matematik probleminin nitel değerlendirmesi. Her LLM tabanlı sistem, problemlerin her biri üzerinde üç kez test edilir. Bu tablo problem çözme doğruluğunu rapor eder ve başarısızlığın nedenlerini özetler.

Şekil 6: AutoGen kullanarak matematik problemlerini çözmek için kullanılan üç ayara örnekler: (Gri) Bir öğrencinin, bağımsız olarak veya döngüdeki insan modunda sorunları çözmek için bir yardımcı ajanla işbirliği yaptığı bir iş akışını etkinleştirir. (Gri + Turuncu) Asistanın, çözümleri tatmin edici değilse sorun çözmeye yardımcı olmak için yardımcı ajanla döngüde olan “uzman” olarak adlandırılan başka bir kullanıcıyla anında etkileşim kurabileceği daha karmaşık bir iş akışını kolaylaştırır.

Şekil 7: Geri Alma ile Artırılmış Kullanıcı Proxy’si ve Alma ile Artırılmış Asistan da dahil olmak üzere iki ajanı içeren Alma ile Artırılmış Sohbete Genel Bakış. Bir dizi belge verildiğinde, Almayla Genişletilmiş Kullanıcı Proxy’si ilk olarak belgelerin — bölünmelerini ve parçalarını otomatik olarak işler ve bunları bir vektör veritabanında saklar. Daha sonra, belirli bir kullanıcı girdisi için, bağlam olarak ilgili parçaları alır ve bunları, soruları yanıtlamak üzere kod veya metin oluşturmak için LLM’yi kullanan Almayla artırılmış Asistan’a gönderir. Ajanlar tatmin edici bir cevap bulana kadar konuşurlar.

Şekil 8: (W/O) ve (W/) etkileşimli alma özelliği olmayan, almayla zenginleştirilmiş Sohbet

Şekil 9: Doğal dilde açıklanan ev görevlerini içeren ALFWorld karşılaştırmasındaki görevleri çözmek için AutoGen’i kullanıyoruz. İki tasarım öneriyoruz: Yardımcı ajanın bir sonraki adımı önerdiği ve Yürütücünün eylemleri yürüttüğü ve geri bildirim sağladığı iki ajanlı bir tasarım. Üç ajanlı tasarım, gerektiğinde uygulayıcıya sağduyulu gerçekleri sağlayan bir temelleyici ajan ekler.

Şekil 10: İki tasarımdan elde edilen sonuçların karşılaştırılması: (a) Bir asistan ve bir uygulayıcıdan oluşan iki ajanlı tasarım, (b) Bilgi kaynağı olarak hizmet veren bir temelleyici ajanın eklendiği üç ajanlı tasarım. Basitlik açısından, bağlam içi örnekleri ve keşif rotasının bir kısmını atlıyoruz ve yalnızca girişimin başarısızlığına/başarısına katkıda bulunan kısımları gösteriyoruz.

Tablo 3: ALFWorld kıyaslamasında ReAct ile ALFChat’in iki çeşidi arasındaki karşılaştırmalar. Her görev için 3 deneme üzerinden başarı oranını rapor ediyoruz. Başarı oranı, ajan tarafından tamamlanan görev sayısının toplam görev sayısına bölünmesiyle elde edilir. Sonuçlar, bir topraklama maddesi eklemenin ALFChat’teki görev başarı oranını önemli ölçüde artırdığını gösteriyor.

Şekil 11: OptiGuide’ı AutoGen ile yeniden uygulamamız, ajanların etkileşimlerini kolaylaştırıyor. Komutan kullanıcı sorularını alır (örneğin, Tedarikçi 1'den manastır 2'ye nakliyeyi yasaklarsak ne olur?) ve Yazar ve Koruma ile koordinasyon sağlar. Yazar kodu ve yorumu hazırlar, Koruma Güvenliği sağlar (örneğin, bilgi sızmaması, kötü amaçlı kod olmaması) ve Komutan kodu çalıştırır. Sorunlar ortaya çıkarsa, süreç çözülene kadar tekrarlanabilir. Gölgeli daireler birden çok kez tekrarlanabilecek adımları temsil eder.

Şekil 12: A5: Dinamik Grup Sohbeti: AutoGen’in görevleri çözmek için dinamik grup sohbetlerini nasıl etkinleştirdiğine genel bakış. GroupChatManager sınıfının bir örneği olan Yönetici ajanı aşağıdaki üç adımı gerçekleştirir: tek bir konuşmacı seçin (bu durumda Bob), konuşmacının yanıt vermesini isteyin ve seçilen konuşmacının mesajını tüm diğer ajanlara yayımlayın

Şekil 13: Belirli bir görevde iki ajanlı sohbet (a) ile grup sohbetinin (b) karşılaştırılması. Grup sohbeti, görevi daha sorunsuz bir konuşmayla başarıyla çözerken, iki ajanlı sohbet aynı görevde başarısız olur ve tekrarlanan bir konuşmayla sona erer.

Şekil 14: A6: Konuşmaya Dayalı Satranç: Her oyuncu LLM destekli bir yapay zeka, bir insan veya ikisinin bir melezi olabileceğinden, konuşmaya dayalı satranç uygulamamız çeşitli senaryoları destekleyebilir. Burada tahta ajanı oyunun kurallarını korur ve oyunculara tahta hakkında bilgi vererek destek olur. Oyuncular ve kurul ajanı iletişim için doğal dili kullanıyor

Şekil 15: İki AI oyuncu ajanı ve bir masa ajanının dahil olduğu bir oyun sırasındaki örnek konuşmalar

Şekil 16: Konuşmalı Satrançta iki tasarımın (a) kurul ajanı olmadan ve (b) kurul ajanıyla ) karşılaştırılması.

Şekil 17: MiniWob++ kıyaslamasındaki görevleri çözen MiniWobChat’i oluşturmak için AutoGen’i kullanıyoruz. MiniWobChat iki ajandan oluşur: bir yardımcı ajanve bir uygulayıcı ajanı. Asistan ajanı, tarayıcıyı manipüle etmek için eylemler önerirken, uygulayıcı önerilen eylemleri yürütür ve ödüller/geribildirim verir. Yardımcı ajanı geri bildirimi kaydeder ve geri bildirim görevin başarılı veya başarısız olduğunu gösterene kadar devam eder.

Kaynak

https://arxiv.org/abs/2308.08155