İş Odaklı Değerlendirme Yapmak
Maliyet fonksiyonu, KPI ve A/B testini ne olduğu ve bunların nasıl kullanacağını öğreneceğiz.
İş odaklı değerlendirme, tahmine dayalı bir modelin, projenin işle ilgili kısmında sahip olduğu daha geniş sonuçlara odaklanır. Elbette proje yöneticileri hatalı tahmin modellerine güvenmek istemezler; ancak iş ortamında genellikle tahminlerin kendisi değil, onlardan türetilen operasyonlar kullanılır.
Örneğin, bir süpermarketin temel operasyonel görevi, müşterilerin satın alması için malları yenilemektir. Tipik olarak süpermarketler rafta birkaç günden (örneğin taze et, balık, meyve ve sebze) birkaç haftaya veya aylara (konserve veya dondurulmuş yiyecek, içecek vb.) kadar saklanabilen bir ürün yelpazesi sunar. Her gün envanter çıkarılır, bozulan yiyecekler kaldırılır ve yeni ürünler sipariş edilir. Sipariş edilmesi gereken ürün miktarını doğru bir şekilde tahmin etmek için, süpermarket yöneticileri genellikle bir sonraki teslimat döneminde belirli bir ürüne olan talebi tahmin etmek için karmaşık bir tahmin modeline güvenirler. Talep, ürünün geçmiş satışları, süpermarketin konumu, promosyon ve reklam, haftanın günü vb. gibi çeşitli faktörler dikkate alınarak karmaşık bir model kullanılarak bu tahmin yapılır.Ancak geçmiş veriler bir sipariş yöneticisi için yeterli değildirl. Ürünler herhangi bir miktarda sipariş edilemez; genellikle belirli bir parti büyüklüğüne sahip daha büyük birimler halinde gruplandırılırlar, dolayısıyla her teslimat döngüsünde her ürün teslim edilemez. Bu nedenle talep tahmininin operasyonel bir düzene dönüştürülmesi gerekmektedir. Dahası, süpermarket yöneticileri, tahmine dayalı modelin teknik kalitesine daha az odaklanır. Bunun yerine tahmine dayalı modelin operasyonel mükemmellik açısından ne anlama geldiğine bakarlar.
İdeal durumda yöneticiler kârı maksimize etmeyi hedefler, dolayısıyla doğrudan kâr için optimizasyon yapmak ideal olacaktır. Ancak pratik durumlarda genel kâr, çözülmesi, tanımlanması veya ölçülmesi zor olan birçok faktörden etkilenir. Bu nedenle, birçok pratik uygulamada şirketler genellikle, işin belirli bir yönünün ne kadar iyi çalıştığını temsil eden, temel performans göstergeleri (KPI) adı verilen, üzerinde anlaşmaya varılan bir dizi ölçüme güvenirler. Çoğu pratik uygulamada bu KPI’lardan oluşan bir dizi kullanılır, ancak bir KPI’yi optimize etmek diğerini bozabileceğinden birbirleriyle çelişebilirler. Süpermarket örneğine dönecek olursak, bu ortamlardaki tipik KPI’lar atık oranı (yani satılamadığı için atılması gereken ürün sayısı), envanter (yani mağazada kaç ürünün tutulması gerektiği) veya Stok tükenme oranıdır (yani müşterilerin ne sıklıkla boş bir rafla karşılaştığı). Daha sonra bir sipariş yöneticisinin, raf kullanılabilirliğini artırmak (ve dolayısıyla stokta kalma riskini azaltmak) ve bozulan ürünlerin israfını en aza indirmek için kaç ürün sipariş edileceğine karar vermesi gerekir. Bu nedenle, talep tahmininin yalnızca teknik açıdan değil, aynı zamanda operasyonel yönlerin tahmin modelinin “iyi” veya “kötü” performansıyla nasıl ilişkili olduğunu belirlemek için, iş perspektifinden de değerlendirilmesi gerekir.
Maliyet Fonksiyonu ve Optimal Nokta Tahmin Ediciler
İşletmeler bir dizi hedefe odaklanır ve bunlara ulaşmak için pazar paylarını genişletmek veya yeni ürünler geliştirmek gibi çeşitli stratejiler uygularlar. Her şeyden önce şirketler karlarını artırmayı hedefler, dolayısıyla operasyonel maliyetleri en aza indirmek, karı en üst düzeye çıkarmakla eşdeğerdir.
Veri merkezli bir kuruluşta, bireysel bir ürün veya hizmet için maliyet fonksiyonu C (pi, ti), tahmin pi’ye ve buna karşılık gelen gerçek (gözlenen) olay ti’ye bağlıdır ve gerçek değerin üstünde veya altında olan bir tahminin parasal etkisini özetler. Maliyet Fonksiyonu Tahmin edilen ve gerçek (gözlenen) değerlere bağlı olan matematiksel bir fonksiyondurve tahminin gözlemden sapmasına dayalı olarak bir değer veya ceza tanımlar.
Örneğin, tahmin çok düşükse müşteri talebini karşılamak için daha pahalı olan acil durum siparişlerinin verilmesi gerekebilir. Bazı durumlarda müşteriler ayrılabilir ve kaçırılan gelirin hesaba katılması gerekir. Bir başka durumda boş raflara kızan müşteriler geri dönmeyebilir, bu da gelecekteki satış kaybının da dikkate alınması gerektiği anlamına gelir. Öte yandan çok fazla ürün sipariş edilmesi stok ve lojistik maliyetlerini arttırmaktadır. Bu maliyetler üründen ürüne farklılık gösterebilir ancak maliyet, ürün veya hizmetin tek birimlerine atfedilebildiğinden genellikle doğrusal bir bağımlılık gösterir. Örneğin, birim sayısının iki katına çıkarılması depo içinde kapladıkları alanı iki katına çıkaracağından depo maliyetleri doğrusal olarak artar. Genel olarak pazarlama promosyonları vb. diğer maliyetlerin de maliyet fonksiyonuna dahil edilmesi gerekir. Ancak belirli bir ürünün maliyet yapısına katkıda bulunan birçok unsurun uygulamada belirlenmesi zordur.
Tipik bir maliyet fonksiyonu aşağıda gösterilmektedir:
Tahmin modelinin maliyet fonksiyonu açısından değerlendirilmesi faydalıdır çünkü tahminler doğrudan işletmenin operasyonel yapılarıyla ilgilidir ve performansın etkisi doğrudan ilgili bağlamda değerlendirilebilir.
Optimal nokta tahmin ediciler
Optimal bir maliyet fonksiyonuyla çalışmak da faydalıdır çünkü daha sonraki operasyonel kararlarda kullanılan gelecekteki tahmini davranışın değeri, bireysel duruma en uygun olacak şekilde seçilebilir. Tahminlerin esasen rastgele değişkenler olduğunu hatırlayın; yani, tahmine dayalı bir model tarafından yapılan tahminler tek bir sabit sayı değil, fiilen bir olasılıktır. Örneğin, tahmine dayalı bir modelin bir işlemin hileli olup olmadığını belirlemesi gerekiyorsa, tahmine dayalı model yalnızca bir “evet/hayır” kararı vermekle kalmamalı, aynı zamanda belirli bir işlemin sahte olma olasılığını gösteren yüzde 0 ile 100 arasında bir olasılık da vermelidir.
Daha sonra, kullanım senaryosuna ve maliyet yapısına bağlı olarak, hileli ve normal durumları ayıran uygun bir eşik belirlenebilir. Bu eşiğin kesin seviyesi operasyonel gereksinimlere bağlıdır. Bazı durumlarda olayları işaretleyip manuel olarak araştırmak daha iyi olabilir, diğer durumlarda ise yüksek olasılıkla tanımlanabilecek durumlara odaklanmak daha kolay olabilir. Regresyon durumunda, yani bir miktarın tahmini, tahminin kendisi sadece bir sayı (örneğin, “yarın 3 elma satılacak”) veya belirsizlik ölçüsü olan bir sayı (örneğin, “yarın 3 ± 1 elma satılacak) olmamalıdır. Onun yerine ideal olarak bir olasılık yoğunluk dağılımı (PDD) olmalıdır. Olasılık Yoğunluk Dağılımı bir rastgele değişkenin her ortaya çıkışı için sürekli olasılığı yansıtır.
Her bir olay için tam olasılık yoğunluk dağılımının tahmini, mevcut tüm bilgileri içerir ve tüm olası sonuçları kapsar. Tahmin edilen miktarın her değeri için ilgili olasılık, bu sonucun ne kadar muhtemel olduğunu gösterir. Tek bir sayıyı tahmin etmek, beklenen belirsizlik veya değişkenliğe ilişkin herhangi bir bilgiyi hesaba katmaz. Gerçek temel olasılık yoğunluk dağılımının şekli genel olarak asimetriktir. Buna örnek olarak fiziksel sınırlar neden olabilir; sıfırdan az elma satılamaz, ancak temel bir üst sınır yoktur; prensip olarak mümkün olduğu kadar çok elma satılabilir. Tahmine dayalı bir model tek bir sayıyı ve onun belirsizliğini öngörüyorsa (örneğin, “3 ± 1 elma”), bu asimetrik şekil artık yakalanamaz ve normal dağılım gibi belirli bir olasılık dağılımı etkili bir şekilde varsayılır.
Olasılık yoğunluk dağılımını tahmin etmek, mevcut tüm bilgileri yakalayabilir, ancak dolandırıcılık tespiti örneğinde olduğu gibi, bu öngörüyü işlem yapılabilir bir sayıya çevirmeliyiz. Sipariş yöneticisi, bireysel ürünlere yönelik talebin olasılık dağılımını bilmek istemez, bunun yerine siparişi temel alacak en iyi tahmini bilmek ister. Bu tahmin, yani optimal nokta tahmincisi, maliyet fonksiyonundan elde edilebilir.
Operasyonel kararlarda kullanılabilecek en iyi tek sayı p, maliyet fonksiyonunu en aza indiren sayıdır:
Verilen herhangi bir maliyet fonksiyonu C için, optimal nokta tahmincisi p daha sonra türetilebilir. İdeal durumda, ilgili tüm katkılar maliyet fonksiyonunun gerçekçi bir tahmininde yer alır. Çoğu durumda, bireysel katkıların elde edilmesi çok zor olduğundan bu pratikte mümkün olmayacaktır. Ancak bu durumda genel maliyet yapısına ilişkin makul varsayımlara dayalı bir model veya basitleştirilmiş maliyet fonksiyonu oluşturulabilir.
Örnek: Doğrusal maliyet fonksiyonu
Çoğu durumda maliyet fonksiyonunun genellikle doğrusal bir davranış göstermesi beklenebilir. Bu varsayım içindeki en basit maliyet fonksiyonu daha sonra C(p, t) = |p — t|, yani tahmin p ve gözlemlenen gerçek olayın mutlak sapması ile verilir. Bunun ortalama mutlak sapma (MAD) ile aynı olduğunu unutmayın.
Optimum nokta tahmincisi şu şekilde verilir:
Burada f(t), gerçek değerin takip ettiği olasılık yoğunluk dağılımıdır ve beklenti değeri E, E[g[ x]] = ∫f(x)g(x)dx evrişimi tarafından verilir. Yukarıdaki son adımda, ilk integral t, p’den küçüktür (ve dolayısıyla mutlak değeri pozitiftir) ve ikinci integralde t, p’den büyüktür, bu da ek bir faktör olan -1'i verir. Kısmi türevin p’ye göre çalıştırılması şunu verir:
Bu, xq sayısının integrali ikiye böldüğü anlamına gelir; yani –∞’dan xq’ye kadar olan integralin değeri, xq’den ∞’ya kadar olan değerle aynıdır, bu da medyanın tanımıdır, yani medyan, tahmin edilen olasılığın en uygun yüzdelik dilimidir. yoğunluk fonksiyonu veya doğrusal maliyet fonksiyonu durumunda optimal nokta tahmincisi.
KPI’ları Kullanarak Değerlendirme Yapmak
Kritik Başarı Faktörleri (CSF)
Şirketlerin başarılı olabilmesi için, bir veya daha fazla alanda üstünlük sağlamaları, rakipleri tarafından kolayca taklit edilemeyecek benzersiz bir değer sunmaları, iş modellerini olağanüstü derecede iyi yürütmeleri gerekir. Bu kritik başarı faktörleri (CSF’ler) bir işletmenin tam kalbinde yer alır. Avustralya hükümetinin uzman iş programı dağıtım bölümü (AusIndutry), CSF’leri “kurumsal performans konularının bir listesi” olarak tanımlamaktadır. Örneğin, bir süpermarket için CSF’ler raftaki ürünlerin bulunabilirliği veya ürünlerin, süt ürünlerinin ve et ürünlerinin tazeliği olabilir. Trenlerin zamanında gelişi ve kalkışı bir tren istasyonunun işleyişinin merkezinde yer alırken bir haber ajansının güncel olaylar vb. hakkında doğru ve zamanında bilgi sağlaması gerekir.
David Parmenter, bir şirketin iç süreçlerine odaklanan operasyonel CSF’ler ile şirketin müşterilerine ne sağladığıyla ilgilenen dış sonuçlar arasında bir ayrım olduğunu vurgular. CSF’lerin spesifik, ölçülebilir olması önemlidir. Örneğin “(daha fazla) kârlı hale gelmemiz lazım” cümlesi çoğu şirket için doğrudur ancak bunun nasıl yapılacağı belirsizdir. Benzer şekilde “müşteri memnuniyetini artırmamız gerekiyor” ifadesi de bu hedefe nasıl ulaşılacağı veya ölçüleceği konusunu ele almamaktadır. David Parmenter “SMART” yaklaşımını takip etmektedir ve CSF’in şu şekilde olması gerektiğine dikkat çekmektedir:
- Spesifik: Boş ifadelerden kaçınılmalı ve belirli yönlere odaklanılmalı.
- Ölçülebilir: CSF’ler ölçülebilir bir miktar elde etmek için kullanılabilir. Örneğin bir şirket “müşteri memnuniyetini artırmak” yerine aldığı şikayetlerin sayısını azaltmaya odaklanabilir.
- Başarılabilir: Bu çok açık görünse de, CSF’lerin pratikte ulaşılabilir olması gerektiğinin dikkate alınması önemlidir, aksi takdirde bunlar göz ardı edilecektir.
- İlgili: CSF’ler şirket çalışanlarının operasyonel ve günlük görevleriyle ilgili olmalıdır. Günlük işlerde genel hedeften kimin sorumlu olduğu net değilse şirket yönetimi, çalışanlardan eylemlerini CSF’lere uygun hale getirmelerini bekleyemez.
- Zamana duyarlı: CSF’ler yakın ve yakın geleceğe odaklanmalıdır. Stratejik uzun vadeli hedefler CSF’lerin tanımlanmasında hayati bir rol oynayabilse de, başarı faktörlerinin kendileri operasyonel görevlerle ilgili olmalıdır.
Temel Performans Göstergeleri (KPI’lar) Nelerdir?
Özetle, temel performans göstergeleri olan KPI’lar (Key Performance Indicators), kritik başarı faktörleri olan CSF’leri (Critic Success Factor) objektif ölçümlere dönüştüren ölçülebilir miktarlardır. CSF’ler doğru bir şekilde belirlendikten sonra KPI’lar kolayca tanımlanmalıdır.
KPI’ların temel amacı, şirketin CSF’leri ne kadar iyi yerine getirdiğini sürekli olarak ölçmektir. KPI’lar şirketin refahı ve operasyonel mükemmelliğiyle son derece alakalı olduğundan, bunlara ulaşma yolunda kaydedilen ilerleme doğrudan üst düzey yönetim ekibine ve ayrıca CEO’ya günlük olarak rapor edilmelidir. Üst düzey yönetim ekibi bir şirketin refahından sorumlu olan üst düzey yöneticilerdir ve C seviyeler (CEO, CTO, CFO, vb.) ile iş birimleri başkanlarını içerir.
KPI’lar doğrudan şirketin en üst kademesine raporlandığı için aşağıdaki özellikleri taşımalıdır:
- Kuruluş çapında 10'dan fazla KPI olmamalıdır: Her şeyi CEO’ya raporlamak cazip gelse de, bu aşırı bilgi yüklemesine neden olabilir, bu da önemli bilgilerin bir yığın ayrıntıyla dolu olduğu anlamına gelir. KPI’lar mevcut durumu özetlemek ve şirketin statüko’sunu vurgulamak için kullanılmalıdır (status quo veya statüko, bir olgunun günümüzdeki durumunu belirten bir Latince deyiştir). Çoğu zaman şirketler çok çeşitli faktörleri ölçer ve bunları üst düzey yönetim ekibine ve CEO’ya rapor eder. En alakalı ölçümlere odaklanabilmek için üst düzey yönetim ekibinin temiz bir sayfadan başlamak amacıyla eski ölçümleri ve raporları kaldırması gerekebilir.
- Sıklıkla ölçülür: KPI’ların ölçülebilir olması gerekir ve ekip veya (otomatik) mekanizmanın değişime tepki verebileceği sıklıkta ölçülmelidir. Örneğin, KPI yalnızca saatte bir kez etkileniyorsa, KPI’nin değerini gerçek zamanlı olarak ölçmek yararlı değildir. Öte yandan, herhangi bir zamanda etkilenebilecekse, KPI’nin değerini ölçmek yararlı değildir. Saatte yalnızca bir kez KPI çalıştırmak, ekibin veya algoritmanın müdahale edebileceği değerli zamanı boşa harcar.
- Uygulanabilir: KPI ölçümlerinin, değerlerin yeterli olup olmadığını açıkça göstermesi gerekir. Bu, KPI değerlerinin nominal aralıklarının önceden tanımlanması gerektiği anlamına gelir. KPI’ın mevcut ölçümünün kabul edilebilir olup olmadığını veya önlem alınması gerekip gerekmediğini belirtilmelidirler. Bu aynı zamanda izin verilen KPI değerleri aralığından hangi sapmanın hangi eylemi tetiklediğinin de açık olması gerektiği anlamına gelir. Özellikle bir şirketin çalışanları KPI’ı ve eylemlerinin bu KPI’ın değerini nasıl etkileyebileceğini anlayabilmelidir.
- Sorumluluk ve hesap verebilirlik: Sonuçta bir ekibin veya iş biriminin bir KPI’dan sorumlu olması gerekir. CEO’nun, KPI’ın mevcut ölçümünü tanımlayabilecek bir yöneticiyi veya ekip liderini arayabilmesi ve KPI’ların nominal aralıklarının dışında olması durumunda durumu iyileştirmek için kimin ne yapabileceğini açıklayabilmesi gerekir. Bir ekip, bölüm veya iş birimi, belirli bir KPI veya KPI kümesinin sahipliğini alabilmeli ve değerin üzerinde anlaşılan kabul edilebilir aralıklarda kalmasını sağlamalıdır.
Örneğin, bir süpermarket zinciri için iki CSF, atılması gereken yiyecek miktarı ve mağazadaki ürünlerin rafta bulunabilirliği olabilir. İlgili KPI’lar örneğin atık oranı, yani imha edilmesi gereken yiyecek miktarı ve çalışma saatleri sırasında raftaki boşlukların sayısı olabilir. Her iki KPI da birbirini etkilediğinden (örneğin, raftaki ürün miktarının arttırılması kullanılabilirliği artıracak ancak daha yüksek atık oranına yol açacaktır), öncelikle her iki miktarın olası değerleri ve birbirlerine bağımlılıkları belirlenmelidir. Daha sonra izin verilen aralıklar tanımlanmalıdır; atık oranı yüzde on ile yüzde 30 arasında ve rafta bulunabilirlik yüzde 80 ile 100 arasında. Çoğu pratik senaryoda, bu KPI’lar günlük olarak ölçülebilir ve üst düzey yönetim ekibine, yeni malların tedarikinden sorumlu operasyonel ekibe ve mağazalardaki operasyonel personele raporlanabilir.
Yukarıdaki tartışmada yalnızca üst düzey yönetim ekibine rapor edilen ölçümlere atıfta bulunulurken “temel performans göstergeleri” ifadesi kullanılmaktadır. Diğer yorumlarda, KPI’nin “anahtar” kısmının projenin veya ekibin sorumluluğunun temel bir ölçüsü olduğu anlaşılmaktadır. Bu nedenle, KPI’lar herhangi bir hiyerarşi düzeyinde tanıtılabilir.
Gösterge türleri
Yukarıda tartışıldığı gibi, bir kuruluşun üst düzey yönetim ekibine düzenli olarak raporlanan 10'dan fazla temel performans göstergesi (KPI) olmamalıdır. Ancak bireysel iş birimleri, bölümler ve proje ekipleri, kendi performanslarını ölçmek için daha geniş bir gösterge yelpazesine ihtiyaç duyabilirler. Genel KPI sayısı sınırlı olduğundan, bir iş biriminin tamamını tek bir KPI üzerinde çalıştırmak mümkün değildir. Ayrıca İK veya muhasebe gibi bazı departmanların KPI’ları olmayabilir ancak yine de bu departmanlar şirketin başarısı için kritik öneme sahiptirler.
Bu durumu ele almak ve daha geniş bir raporlama seçeneği yelpazesine olanak sağlamak için David Parmenter aşağıdakilerin kullanılmasını önermektedir:
- Anahtar Performans Göstergeleri
- Performans göstergeleri
- Temel sonuç göstergeleri
- Sonuç göstergeleri
Bu nedenle David Parmenter (2015) sonuç ve performans göstergelerinin yanı sıra “anahtar” ve “normal” göstergeler arasında da ayrım yapmaktadır. Daha önce tartışıldığı gibi, “anahtar” göstergeler üst düzey yönetim ekibi ve CEO ile doğrudan ilgilidir ve onlara doğrudan rapor edilmelidir. “Normal” göstergeler de geçerlidir ancak daha ayrıntılı olabilir ve bir şirketin operasyonlarının belirli yönlerine odaklanabilirler. Bu nedenle, bunların belirli bir iş biriminin ekip liderine veya yöneticisine rapor edilmesi gerekir. David Parmenter, üst düzey yönetim ekibine yönelik metrikler ile hiyerarşinin tüm diğer seviyelerine yönelik metrikler arasında net bir ayrım yapmaktadır.
Öte yandan sonuç göstergeleri; çalışan memnuniyeti, FVÖK vb. ekiplerin veya iş birimlerinin çabalarını özetler. Bunlar, bir şirketin kritik başarı faktörleriyle doğrudan bağlantılı değildir ancak şirketin refahı ve statükosuyla ilgilidir. . Örneğin, net kar veya FVÖK bir şirketin genel performansı açısından çok önemlidir ve üst düzey yönetim ekibinin her zaman bunlardan haberdar olması gerekir. Ancak bu ve benzeri önlemler belirli ekiplere bağlı olmayıp tüm bölümlerin sorumluluğundadır. Örneğin CEO, A ekibinin ekip liderini arayıp “Şirketimizin karlılığı düşük, düzeltin” diyemez; her ekibin genel hedefe katkıda bulunması gerekir.
KPI’lar ne zaman çalışır?
KPI’lar bir şirketin refahını ve mevcut durumunu izlemek ve eyleme geçilmesi gerekip gerekmediğini ve ne zaman yapılması gerektiğini belirtmek için kullanılan hayati bir araçtır. Ancak KPI’ların amaçlandığı gibi çalışabilmesi için şirketin buna karşılık gelen bir çerçeveyi uygulamaya koyması gerekir. Her şeyden önce, KPI’lar kritik başarı faktörlerinden türetilmelidir, yani KPI’lar şirketin genel refahıyla doğrudan ilgili olan şeyleri ölçmelidir. Yalnızca CSF’lerle ilişkili ölçümler ölçülmeli ve raporlanmalıdır. Bunun tersine çoğu zaman, şirkete nasıl yardımcı olabilecekleri konusunda net bir bağlantısı olmayan çok çeşitli metrikler ölçülmektedir. Üst düzey yönetim ekibi, zamanla daha fazla metrik eklemek yerine, birkaç kritik KPI’ya karar vermeli ve etkisiz olan diğer tüm metrikleri, ölçümleri ve süreçleri kaldırmalıdır.
Bu, CEO’nun belirli bir ölçüte doğrudan katkıda bulunmayan her şeyi ortadan kaldırması gerektiği anlamına gelmez; ancak belirli bir ölçümün neden yapıldığını ve raporlandığını ve bunun genel kritik başarı faktörleriyle veya şirketin hedefleriyle nasıl bağlantılı olduğunu eleştirel bir şekilde sorgulamalıdır. İyi bir KPI’nın en etkili yönlerinden biri, çalışanların buna göre hareket etme yetkisine sahip olmasıdır. Bir ekip veya bölüm bir KPI’nın sahipliğini alırken, onlara KPI’ların onaylanan aralıklar dahilinde olmasını sağlamak için çeşitli eylemleri gerçekleştirme fırsatı da verilmelidir. Bu da üst düzey yönetim ekibinin ve CEO’nun belirli bir sınır dahilinde kontrolü ekibe veya bölüme vermesini gerektirir. Örneğin, bir süpermarketin KPI’ları, atılması gereken gıda oranı ve raftaki boşluk sayısı olarak tanımlanıyorsa, satın alma ekibinin doğru miktarda mal sipariş edebilmesi, üretim bölümünün malları teslimat bölümünden üretim alanına aktarabilmesi ve bu durumdan sorumlu ekiplerin olması gerekir.
Sistemi kandırmak — KPI’ların istenmeyen sonuçları
KPI’lar, bir şirketin veya işletmenin kendilerini başarılı kılan şeylere odaklanmasına yardımcı olmak için tanımlanır. Bunu “ölçülen yapılır” sloganıyla özetleyebiliriz. KPI’ların bir hedefin (Kritik Başarı Faktörlerinin gerekliliklerini karşılayan) gerçekleştirilmesini sağlayacak bir araç olduğunu, ve günlük çalışmalarda çalışanların KPI’ların değerini belirlenen sınırlar içinde tutmaktan sorumlu olduğunu bilmek önemlidir. KPI’lar dikkatli bir şekilde tasarlanıp uygulanmazsa istenmeyen sonuçlara yol açacaktır. David Parmenter, acil servisteki hastane personelini örnek verir: Bu senaryoda KPI, “hastaları tedavi etmek için geçen ortalama süre” olarak tanımlanmıştır. Ambulansla gelen hastalar uzun süre beklemedikleri için bekletilirken, bekleme salonundaki diğer hastalara öncelik verildi. Ancak genel olarak ambulansla gelen hastaların durumu daha ağır olduğundan hastaneye kabulleri geciktiğinden, durumun ciddiyeti dikkate alınmadı; KPI iyileşse bile insanların sağlığı riske atıldı. Yeni bir KPI uygulamaya koyulmadan (veya mevcut olanı muhafaza etmeden önce) yöneticiler, KPI’nın olası sonuçları ve olumsuz etkileri üzerinde eleştirel bir şekilde düşünmelidir.
Yaygın yanılgılar ve en iyi uygulamalar
Temel Performans Göstergelerini kullanırken aşağıdaki hususlar dikkate alınmalıdır:
• Çok fazla KPI önemli noktalara odaklanmayı zorlaştırır. Ne kadar KPI eklenirse, bunların birbirleriyle çelişme riski de o kadar yüksek olur.
• Başarılı olmayanı ortadan kaldırın. KPI’ları her zaman orada oldukları için tutmak, başarılı bir değerlendirme için iyi bir başlangıç noktası değildir. Bunun yerine, herhangi bir KPI’ın neden orada olduğunu, neyi ölçtüğünü ve hangi eylemlerin onunla ilişkili olduğunu eleştirel bir şekilde değerlendirin.
• Herhangi bir KPI için, bir eylemin ne zaman yapılması gerektiğini belirtmek üzere izin verilen bir aralığın tanımlanması gerekir.
• Ekiplerin veya bölümlerin bir veya daha fazla KPI’nın sahipliğini alması ve bunlardan sorumlu tutulması gerekir. Bu aynı zamanda bu ekiplere ve bölümlere buna göre hareket etmeleri için güç ve bütçe verilmesi gerektiği anlamına da geliyor.
• “Ölçülen şey yapılır” — KPI’lar hem bir nimet hem de bir lanettir. KPI’lar dikkatli bir şekilde tasarlanmazsa istenmeyen sonuçlar projeyi veya şirketi tehlikeye atabilir.
A/B Testi
A/B testleri, iki değişkenden hangisinin daha iyi performans gösterdiğini belirlemek için kullanılır. A/B testleri çeşitli senaryolarda kullanılabilir. Örneğin, yeni bir web sayfası tasarlarken, bir varyant rastgele seçilen bir grup ziyaretçiye, farklı bir varyant ise başka bir ziyaretçi grubuna gösterilebilir ve uygun bir ölçüm kullanılarak hangi tasarımın daha “başarılı” olduğuna karar verilebilir. Başarı ölçümü olarak bir kullanıcının web sayfasında geçirdiği ortalama süre, kaç alt sayfanın açıldığı, belirli bir bağlantıya tıklanıp tıklanmadığı veya çevrimiçi mağazadan ne satın alındığı vb. kullanılabilir. Örneğin A/B testi, malların fiyatlarını otomatik olarak optimize eden yeni bir algoritmanın performansını belirlemek için kullanılabilir. Optimum fiyatı belirlemenin “eski” yöntemi kırmızı olan ürüne, “yeni” algoritma ise mavi olan ürüne uygulanır. Ürünlerin karşılaştırılabilir olduğu varsayıldığında, iki ürünün satış kayıtları karşılaştırılarak hangi fiyatlandırma yaklaşımının daha başarılı olduğu belirlenebilir. A/B testi iki geçerli ve işlevsel kampanyanın sonuçlarını karşılaştırır, iş modelindeki sorunları, operasyonel sorunları veya genel yönetim sorunlarını belirlemeye çalışırken yararlı bir yaklaşım değildir.
A/B Testinin Önkoşulları
A/B testi gerçekleştirmek için iki bağımsız yaklaşım aynı anda yürütülür. Bazı durumlarda bunun pratikte uygulanması nispeten kolaydır. Bir web sayfası veya çevrimiçi mağaza örneğine dönersek, ziyaretçilerin yarısı bir versiyonu, diğer yarısı ise diğer versiyonu görür. Her iki yaklaşımı aynı anda değerlendirebilmek için iki nesnenin karşılaştırılabilir olması gerekir aksi takdirde A/B testi taraflı olacaktır. Bu karşılaştırılabilirlik, müşterilerin güçlü bir marka bağlılığı göstermediği çok benzer özelliklere sahip benzer ürünler veya mahalle vb. açılardan çok benzer iki farklı satış lokasyonu olabilir. Ayrıca nesnelerin müşterilere veya ziyaretçilere sunulma sıklığı yeterince yüksek olmalıdır. A/B testi yalnızca sınırlı bir süre için çalışacağından, testten herhangi bir sonuç çıkarabilmek için yeterince büyük bir numunenin toplanması gerekmektedir.
A/B testi gerçekleştirme
İki nesne veya örnek seçildikten sonra A/B testi yürütülebilir. A yaklaşımı A nesnesine uygulanır ve B yaklaşımı B nesnesine uygulanır. Belirli bir süre sonra örnekler değiştirilir, yani kalan önyargıyı ortadan kaldırmak için B nesnesi için A yaklaşımı ve A nesnesi için B yaklaşımı kullanılır. Ancak birinci ve ikinci numunenin alındığı zamanlar hala önemli bir rol oynayabilir. Örneğin, A ve B nesnelerinin Sevgililer Günü çikolataları olduğunu hayal edin; eğer ilk test dönemi Sevgililer Günü’nden hemen önceyse ve ikinci test dönemi de hemen sonrasındaysa, iki numune karşılaştırılabilir olmayacaktır. Genel olarak, bundan kaçınmak için büyük özen gösterilmelidir. A/B testine giren ve sonucu çarpıtan kafa karıştırıcı değişkenler şunlar olabilir:
- Pazarlama kampanyaları veya promosyonlarını başlatmak veya durdurmak.
• Özel etkinlikler (ör. Paskalya, Noel, Sevgililer Günü).
• Şirketle ilgili önemli haberler (örneğin yeni ürünlerin piyasaya sürülmesi veya eski ürünlerin üretiminin durdurulması, medyada ve basında çıkan olumlu veya olumsuz haberler vb.).
• Websitesinin, mağazanın veya pazarlama materyalinin yeniden tasarlanması.
• Uzun süre stokta bulunamama (örn. ürünler gönderilemiyor, web sayfasına veya e-ticaret mağazasına erişilemiyor vb.). - Mevsimlik ürünlerde hava durumu veya mevsimsel değişiklikler gibi dış faktörlerin de dikkate alınması gerekebilir.
A/B testi (veya herhangi bir deneme) gerçekleştirmenin önemli bir yönü, testi önceden tanımlanmış zaman aralığı sona erene kadar çalıştırmaktır. Testi “istenen” veya “bariz” sonuç görüldüğünde erken sonlandırmak keyfi bir kesintiye neden olur ve muhtemelen önyargılı bir sonuca yol açar. Ciddi yan etkiler fark edildiğinde test durdurulmadığı takdirde hastaların sağlık durumunun risk altında olabileceği tıbbi testler bunun bir istisnasıdır.
A/B testinin dezavantajları
A/B testleri iki alternatif yaklaşımı değerlendirmenin güçlü bir yolu olsa da önemli bir maliyete sahiptir. Öncelikle testte kullanılabilecek uygun ürün veya nesnelerin belirlenmesi gerekmektedir. O zaman A veya B’den birinin diğerinden daha kötü performans göstermesi nedeniyle gelir kaybının yaşanacağı kabul edilmelidir. Operasyonel açıdan bakıldığında, her iki yaklaşımın da yürütülmesi, sürdürülmesi ve izlenmesi gerektiğinden bu testlerden ilave maliyetler ortaya çıkar. Son olarak testler tamamlandıktan sonra tüm veriler kaydedilmeli ve analiz edilmelidir. Ayrıca, bir A/B testinin kesin sonuç vermesi için önemli miktarda verinin kaydedilmesi gerekir; bu da test edilen sistemin çok fazla veri üretmesi (örneğin yüksek trafiğe sahip bir web sitesi veya hızlı satan ürünler) veya uzun bir süre çalışması gerektiğini gösterir.
A/B testini değerlendirme
Bir A/B testini değerlendirmenin en kolay yolu, iki yaklaşım arasındaki başarı oranındaki göreceli değişiklik olarak tanımlanan artışı hesaplamaktır:
Bu denklemde Ra, A yönteminin Rb, B yönteminin başarı oranıdır. Örnek: Bir e-ticaret sitesi sahibi, web mağazasının reklamını geliştirmek istiyor ve bu nedenle bir pazarlama ajansıyla yeni bir reklam kampanyası başlatıyor. Yeni kampanyanın işe yaradığını kanıtlamak için web mağazasının sahibi, web’deki mevcut reklamları yeni reklamlarla karşılaştıran bir A/B testi öneriyor. Her reklam, potansiyel müşterilere (“gösterimler”) gösterilir; bu müşteriler daha sonra reklama tıklayarak web mağazasına (“dönüşüm”) gidebilir. Her iki yaklaşımın gösterim ve dönüşüm oranı, yeni reklam kampanyasının eskisinden daha iyi olup olmadığına karar vermek için birkaç hafta boyunca izlenir.
Örneğin, 6 hafta sonra aşağıdaki sonuçları elde edebiliriz:
• Mevcut kampanya: 15700 gösterim, 30 dönüşüm.
• Yeni kampanya: 16000 gösterim, 50 dönüşüm.
Yeni kampanya daha mı iyidir? Artışı dönüşüm oranına (bu örnekte dönüşümlerin gösterimlere oranına) göre hesaplayabiliriz:
CR dönüşüm oranıdır, yani reklamın tıklanma sayısının (“dönüşüm”) reklamın gösterilme sayısına (“gösterim”) bölünmesiyle elde edilen orandır. Yukarıdaki örnekte artış yüzde 0,63 veya 63'tür, yani yeni kampanya mevcut yaklaşımdan daha iyi çalışmaktadır.
Sayım deneylerinde A/B testinin öneminin değerlendirilmesi
A/B testi tamamlandıktan sonra sonraki analiz, A yaklaşımının mı yoksa B yaklaşımının mı daha iyi çalıştığını belirlemeyi amaçlar.
Aşağıdaki yaklaşım aynı zamanda test sırasında bir bağlantıya ne sıklıkta tıklandığı, bir ürünün satın alındığı vb. denemelerin sayısını da tutan A/B testleri için geçerlidir. Bu, yalnızca eylemin gerçekleştirilip gerçekleştirilmediği şeklinde iki olası sonucun olduğu anlamına gelir. Başarı olasılığının her test dönemi için aynı olduğunu ve denemelerin istatistiksel olarak bağımsız olduğunu varsayarak, olasılık, sonucu X = 1 (örneğimizde bağlantıya tıklanması) veya X = 0 (bağlantıya tıklanmaması) olan bir rastgele değişken X için bir Bernoulli deneyi olarak ele alınabilir.
X’in dağılımı, başarı olasılığını tanımlayan yalnızca p parametresine bağlı olan binom dağılımı ile tanımlanabilir. Dolayısıyla P(X = 1) = p ve P(X = 0) = 1 — p’dir. Binom dağılımının beklenti değeri E[x]=p ile, varyans ise var[x] = σ2 = p(1 — p) ile verilmektedir.
Örnek boyutu, merkezi limit teoremini tutacak kadar büyükse, güven aralığı şu şekilde tanımlanabilir:
Örnek oranı için tahmin edici p̂, p̂ = X/n’dir, yani örnekte gözlemlenen başarıların sayısıdır. Dolayısıyla E [p̂] = E[X/n] = np/n = p ve var[p̂] = var[X/n] = 1/n²*var[x] = 1/np (1 − p) .
Ortalamanın çıkarılması ve p̂’nin standart sapması ile ölçeklendirme, eğer örneklem boyutu yeterince büyükse ve olasılıklar son değerlere çok yakın değilse, normal bir dağılımla sonuçlanır. Güven düzeyi α daha sonra iki taraflı olasılık kütlesi olarak hesaplanabilir:
Ve dolayısıyla:
Sağ tarafta p = p̂ ’ye yaklaşmak (Wald yaklaşımı) şunu verir:
Yüzde 95'lik bir güven aralığı (yani α=5) için , Gauss yaklaşımında z = 1,96 ‘dır.
Bayesian A/B testi
Şu ana kadar tartışılan A/B testine yönelik yaklaşımlar, sonuçları tekrarlanabilir bir deneyden elde edilen sayılar olarak ele alan istatistiklere uygulanan sıklık yaklaşımına dayanmaktadır ve artış gibi sonuç olarak ortaya çıkan ölçüm tek bir sayıdır. Bayes yaklaşımında her şey olasılık yoğunluk dağılımlarına dayanmaktadır. Bu, ilk başta karmaşık görünse de basit sayılar yerine olasılıkları hesaplama avantajına sahiptir.
Not: Rahip Thomas Bayes 18. yüzyılda, bilinmeyen olayların olasılığını hesaplamak için koşullu olasılıkları ve kanıtları kullanan bir istatistik okulu oluşturmuştur.
A/B testi için en önemli durumlardan biri, iki potansiyel sonucu olan testlerin analizidir; örneğin, bir kullanıcının bir web sayfasındaki bir reklama tıklayıp tıklamaması veya daha genel olarak “başarı” ve “başarısızlık” veya “evet” ve “hayır” vb. senaryolara “Bernoulli denemeleri” denir ve yalnızca iki farklı sonucu olan rastgele bir deneyi temsil eder. Bu deneyler n kez tekrarlanırsa, her deney istatistiksel olarak öncekilerden bağımsız olduğu varsayılarak binom dağılımıyla tanımlanabilir. Örneğin, bir parayı defalarca atmak, paranın atışlar arasında bir tür “hafıza” tutulmadığı için istatistiksel olarak bağımsız n adet veri örneği (tura veya yazı) ile sonuçlanır.
Binom dağılımı denklemi şu şekilde verilir:
Bu denklemde p, doğru bir sonucun olasılığıdır. q=1–p, yanlış bir sonucun olasılığıdır ve P(k), aranın tura gelmesi veya ziyaretçinin reklama tıklaması gibi k “başarılı” sonuç gözlemleme olasılığıdır. Bayes çerçevesinde çalışabilmek için önceliklerin dahil edilmesi gerekmektedir. Bernoulli, binom, negatif-binom ve geometrik dağılım için önceki eşlenik, beta dağılımı ile verilir. Beta dağılımı, [0, 1] aralığında tanımlanan sürekli bir olasılık yoğunluk dağılımıdır ve şeklini kontrol eden iki pozitif parametreye sahiptir:
Bayesian istatistiğinde Eşlenik Önceki (Conjugate Prior), önceki ve sondaki dağılımlara, eğer aynı dağılım ailesine aitlerse, eşlenik dağılımlar denir. Bu durumda öncelik, olasılık fonksiyonunun eşlenik öncesidir.
Beta dağılımı, Bernoulli ve binom dağılımının eşlenik dağılımı olduğundan, Bernoulli veya binom denemeleri için A/B testlerinde herhangi bir ön bilgiyi modellemek için kullanılabilir. Bernoulli veya binom denemeleri için öncekini modellemek için kullanıldığında, α parametresi başarı sayısını ve β parametresi başarısızlık sayısını temsil eder. Örneğin, n=10 denemede 4 deney başarı verdi, burada değişkenler α=4 ve β=6'dir. α = β = 1 değerleri, beta dağılımının düz veya tekdüze bir dağılımıyla sonuçlanır
Bunu, Bayes istatistikleri açısından, bilgi vermeyen bir önceliği modellemek için kullanabiliriz, yani A/B testinin sonuçları hakkında hiçbir şey bilmiyorsak, tüm sonuçların eşit derecede olası olduğunu varsayarız.
Bu varsayımın her zaman geçerli olmadığını ve düz bir dağılımın, bilgi vermeyen bir önceki için her zaman iyi bir seçim olmadığını unutmayın. Bilgi vermeyen bir öncelik olarak düz bir beta dağılımıyla sonuçlanan α = β = 1 değerleri kullanılarak, Bernoulli denemelerinin önceliği bu düz dağılımın üzerine modellenir.
• α = 1 + başarı sayısı’dır.
• β = 1 + başarısızlık sayısı = 1 + deneme sayısı — başarı sayısı’dır.
Örnek:
E-ticaret örneğiyle devam edersek, şu sonucu elde ederiz: Mevcut kampanya 15700 gösterim ve 30 dönüşümle sonuçlanırken, yeni kampanyada 16000 gösterim ve 50 dönüşüm elde edildi. Bu durumlar için beta dağılımlarının parametreleri şu şekilde verilmiştir: Mevcut kampanya için: αc = 1 + 30; βc = 1 + 15700–30 ve yeni kampanya için: αn = 1 + 50; βn = 1 + 16000–50
İki deney (A/B testinin bir parçası olarak mevcut ve yeni kampanyayı çalıştıran) artık her deney için bir tane olmak üzere iki olasılık yoğunluk dağılımı olarak temsil ediliyor. Yeni ve mevcut yaklaşımın iki beta dağılımının ortak olasılık yoğunluk dağılımı şu şekilde görselleştirilebilir:
A/B testinin değerlendirilmesinde en önemli nokta, yeni kampanyanın eskisine göre daha başarılı olup olmadığının belirlenmesidir. Yeni yaklaşımı temsil eden marjinal dağılımın mevcut yaklaşıma göre “daha büyük” olduğu ortak olasılık yoğunluk dağılımının hacmi buna örnektir. Genel olarak olasılık yoğunluk dağılımının hacminin sayısal olarak değerlendirilmesi gerekir ancak beta dağılımının özel durumu için analitik bir çözüm mevcuttur.
Fonksiyon g(a,b,c,d) , (a,b) parametreli bir beta fonksiyonundan alınan bir örneğin, (c,d) parametreli bir beta fonksiyonundan alınan bağımsız bir örnekten daha büyük olma olasılığını temsil etsin ve a,b,c,d>0 olsun:
Burada Ix(c, d) tamamlanmamış beta fonksiyonudur. d=1 olan özel durum için bu formül şu şekilde değerlendirilebilir:
Ve d’nin pozitif tam sayı olduğu tüm durumların bu duruma indirgenebileceği gösterilebilir. Bu nedenle, tüm sayıların pozitif tam sayılar olduğu A/B testlerinin özel durumu için sayısal entegrasyona gerek yoktur ve yukarıdaki formüller kullanılabilir.
Yukarıdaki örneğe devam edersek, artık ilk örneğin yeni yaklaşımı kullanarak ikinciden daha büyük olma olasılığını hesaplayabiliriz:
g(an, bn, ac, bc) = 0,98
Dolayısıyla orijinal örnekten elde edilen artış yüzde 63 olmuştur ve yeni yaklaşımın mevcut kampanyadan daha iyi olma olasılığı yüzde 98'dir.
Özet
Başarıyı tanımlamak, veri odaklı yeni bir proje için kullanım senaryosu oluşturmanın kritik yönlerinden biridir. Tahmine dayalı modelin kendisi genellikle daha önce tartışılan ölçümler açısından değerlendirilir. Ancak tahminlerin optimize edilmiş iş kararlarına dönüştürülmesi gerektiğinden tahminler genellikle gerçek iş operasyonlarından ayrı tutulur. Bunlar daha sonra projenin başarısı üzerinde doğrudan etkiye sahiptir. Performansı iş bağlamında değerlendirmenin en iyi yolu, projeyle ilgili tüm hususları içeren ve ölçen uygun bir maliyet fonksiyonunu tanımlamaktır. Tahmin edilen olasılık yoğunluk dağılımının optimal nokta tahmincisi (regresyon durumunda), maliyet fonksiyonunun minimumunun bulunmasıyla belirlenebilir. Optimum kararlar bu tahminciye dayandırılabilir. Ancak çoğu durumda tam maliyet fonksiyonunu elde etmek zor veya çok pahalıdır. Bu durumlarda, projenin etkisini ve faydasını ölçen bir dizi uygun temel performans göstergesi (KPI) tanımlanmalıdır. Tahminlerden elde edilen en uygun kararlar daha sonra bu KPI’lar açısından değerlendirilir. Çoğu zaman yeni bir yaklaşımın mevcut bir yönteme göre doğrulanması gerekir. Bu durumlarda, yeni yöntemin mevcut yaklaşıma kıyasla artışını ölçmek için yeni ve mevcut yaklaşımın yan yana yürütüldüğü bir A/B testi gerçekleştirilir.
Kaynaklar
[1] Abdullah Atcılı, (6 Dec 2021), Makine Ogrenmesine Giris:
[https://medium.com/machine-learning-t%C3%BCrkiye/makine-ogrenmesine-giris-62bcfa9b124a]
[2] Aashi Goyal,(31 May 2021), Complete Guide to Point Estimators in Statistics for Data Science:
[3] Elif Burcu Tapsız, (1 Aralık 2018), Anahtar Performans Göstergesi (KPI) Nedir?:
[https://www.iienstitu.com/blog/anahtar-performans-gostergesi-kpi-nedir]
[4] Oracle, (2023), A/B testi nedir?
[https://www.oracle.com/tr/cx/marketing/what-is-ab-testing/]
[5] Micheal Berk, (22 Jun 2021), Bayesian A/B Testing in 5 Minutes:
[https://towardsdatascience.com/bayesian-a-b-testing-and-its-benefits-a7bbe5cb5103]
