Geri Adım (Step-back) İstem Yöntemi

Google DeepMind yeni bir istem mühendisliği yöntemi olan “Step-back” yöntemini keşfetti. Bu yöntemi tanıtıp, başarısını inceleyeceğiz.

Geri Adım İstemi, LLM’lerin soyutlamalar yapmasına, üst düzey kavramlar türetmesine ve doğru yanıtların türetilebileceği ilk ilkelere ulaşmasını sağlayan bir istem tekniğidir.[2]

• Geri Adım İstemi (STP), yalnızca bir LLM ile yapılan yinelemeli bir süreçte arayüz oluşturur.[2]
• STP, benzer sonuçlarla RAG ile birlikte kullanılabilir.[2]
• Aşağıdaki resimde görüldüğü gibi STP, orijinal sorunun bir geri adım sorusuna ayrıştırılması gereken daha teknik bir istem mühendisliği yaklaşımıdır. Ve son cevap için kullanılan geri adım cevabı.[2]

Geri Adım İstemi Şablonu Türkçe (otomatik çevrildiği için hata olabilir aşağıdaki orjinalinden teyit edebilirsiniz)

Step Back Prompting Method [2]

LangSmith kullanarak aşağıdaki örnek göz önüne alındığında, LLM’e bir geri adım sorusunun nasıl oluşturulacağı konusunda talimat veren bir istem oluşturulabilir[1]:

Dünyevi bilgilerde uzmansınız.
Göreviniz bir adım geri gitmek ve bir soruyu daha genel, cevaplanması daha kolay bir geri adım sorusuna dönüştürmektir.

İşte birkaç örnek:
Orijinal Soru: Knox Cunningham Mayıs 1955'ten Nisan 1956'ya kadar hangi pozisyondaydı?
Geri Adım Sorusu: Knox Cunningham kariyerinde hangi pozisyonlarda yer aldı?

Orijinal Soru: 1968'den 1974'e kadar Anna Karina'nın eşi kimdi?
Geri Adım Sorusu: Anna Karina'nın eşleri kimlerdi?

Orijinal Soru: Thierry Audel 2007'den 2008'e kadar hangi takımda oynadı?
Geri Adım Sorusu: Thierry Audel kariyerinde hangi takımlarda oynadı?

Step-back yönteminin Langchain implementasyonu:

The LangChain Implementation Of DeepMind’s Step-Back Prompting

Bu istem tekniğinin statik veya anlık template yaklaşım için fazla karmaşıktır ve otonom ajanlar içeren uygulamalarda daha iyi çalışacaktır.[1]

Yayınlanan çoğu istem tekniğinde gördüğümüz gibi, LLM’ler bir sorgudan karmaşık, çok adımlı akıl yürütme istendiğinde rehberliğe ihtiyaç duyarlar ve karmaşık isteği çözerken ayrıştırma işlemi önemli bir adımdır.

Adım adım (step-by-step) istem yöntemi ile doğrulamalı bir denetim süreci, ara akıl yürütme adımının doğruluğunu geliştirmek için umut verici bir çözümdür.

Ayrıştırma söz konusu olduğunda en iyi bilinen istem yöntemi, düşünce zinciri akıl yürütmesidir. Bu çalışmada Geri Adım İstemi, düşünce zinciri (COT) yöntemi ile karşılaştırılmıştır.

Aşağıdaki metin, orijinal soru, geri adım sorusu, ilkeler ve LLM tarafından oluşturulacak nihai yanıt istemiyle birlikte STP’nin tam bir örneğini göstermektedir.

Orijinal Soru: "Potasyum-40, doğal olarak oluşan potasyumda bulunan küçük bir izotoptur. Radyoaktiftir ve basit radyasyon sayaçlarıyla tespit edilebilir.

Potasyum-40, K2SO4'ün bir parçası olduğunda kaç proton, nötron ve elektrona sahiptir?

Aşağıdaki listeden bir seçenek seçin:

0) 21 nötron, 19 proton, 18 elektron
1) 20 nötron, 19 proton, 19 elektron
2) 21 nötron, 19 proton, 19 elektron
3) 19 nötron, 19 proton, 19 elektron"

Geri Adım Sorusu: "Bu sorunun ardındaki kimya ilkeleri nelerdir?"

Prensipler:
"Atom numarası: Bir elementin atom numarası, o elementin atomunun çekirdeğindeki protonların sayısıdır."

Son cevap:

Aşağıdaki grafik, bir soyutlama ve akıl yürütme şemasını izleyen Geri Adım İsteminin güçlü performansını göstermektedir. Açıkçası bu yaklaşım, çok çeşitli daha karmaşık görevlerde önemli iyileştirmelere yol açmaktadır.[1]

Belli test sorularına sırasıyla gpt-4, palm-2l, palm2l + Düşünce Zinciri Yöntemi ve palm2l + Geri Adım Yöntemi başarıları[2]

Aşağıdaki grafiklerde Geri Adım İstemi, temel tahminin yanlış olduğu tahminlerin %39,9'unu düzeltirken %5,6'lık bir hataya neden oldu. Geri Adım İstemi + RAG uygulanınca, RAG’dan gelen hataların %21,6'sı düzeltilirken %6,3'lük hataya neden olur:

Solda Geri Adım ve RAG ile temel tahminler karşılaştırılıyor. Sağda, Step-Back RAG ve RAG tahminleri karşılaştırılıyor.[2]

Bu yöntem aynı zamanda statik yönlendirmenin kapsamını da göstermiştir ve karmaşıklık arttıkça istem zinciri ve otonom ajanlar gibi daha fazla artırılmış araçların kullanılması gerektiğini açıkça gösterir.[1]

Kaynaklar

[1] Cobus Greyling, (12 October 2023), A New Prompt Engineering Technique Has Been Introduced Called Step-Back Prompting:

[https://cobusgreyling.medium.com/a-new-prompt-engineering-technique-has-been-introduced-called-step-back-prompting-b00e8954cacb]

[2] Google Deepmind, (9 October 2023), Take A Step Back: Evoking Reasoning via Abstraction in LLMs:

[https://arxiv.org/pdf/2310.06117.pdf]