Deney Hızı

Deney hızı, bir kuruluşun geçerli deneyleri tamamlama oranıdır ve genellikle ayda veya çeyrekte tamamlanan test sayısı olarak ifade edilir. Basit bir nedenden dolayı, bir test programının ne kadar değer ürettiğinin en güçlü göstergelerinden biridir: eğer deneylerin sadece küçük bir azınlığı anlamlı bir iyileşme sağlıyorsa, bulunan iyileşme sayısı büyük ölçüde yürütülen deney sayısına bağlıdır. Diğer her şey eşit olmak kaydıyla, öğrenme oranının iki katına çıkarılması, önemli metrikler üzerindeki bileşik etkiyi yaklaşık olarak iki katına çıkarır.

Hız, üç ayrı kısıtlamayla sınırlıdır ve hangisinin kısıtlayıcı olduğunu belirlemek, onu iyileştirmenin ilk adımıdır. Trafik, katı bir istatistiksel sınır belirler: bir site, hacminin desteklediğinden daha fazla eş zamanlı, yeterli güce sahip test çalıştıramaz. Üretim kapasitesi, fikir üretimi, tasarım, geliştirme ve kalite güvencesini kapsar ve genellikle her testin mühendislik çalışması gerektirdiği kuruluşlarda kısıtlayıcı faktördür. Süreç, onay döngülerini, paydaş incelemesini, yasal veya marka onayını ve analiz geri dönüşünü kapsar ve genellikle en büyük gizli maliyettir; testler, veri toplama sürelerinden daha uzun süre kuyruklarda beklemede kalır.

Standartları düşürerek hızı artırmak, kendi kendini baltalayan ve ne yazık ki yaygın bir durumdur. Çalışma sürelerini tam bir iş döngüsünün altına kısaltmak, örneklem büyüklüğü hesaplamasını atlamak, kalite güvencesini terk etmek, önemli olanı değil kolay olanı test etmek ve anlamlılık belirtisi görüldüğü anda testleri durdurmak, tamamlanan deney sayısını artırırken gerçek bulguların sayısını azaltır. Güvenilir olmayan bir metodolojiyle çeyrekte kırk test raporlayan bir program, doğru şekilde yapılan on iki test raporlayan bir programa göre daha az değer üretir ve sonuçları birbirleriyle çeliştiği için daha fazla kurumsal karışıklığa yol açar.

Verimliliği artıran unsurlar, testlerin kendilerini sıkıştırmaktan ziyade bekleme sürelerini ortadan kaldırmakla ilgilidir. Kapasitenin asla atıl kalmaması için, geliştirilmeye hazır fikirlerin önceliklendirilmiş bir listesini tutmak; geliştirme süresini kısaltmak için yeniden kullanılabilir bir bileşen kütüphanesi ve test şablonları oluşturmak; her birinin yeni bir onay gerektirmemesi için tanımlanmış bir düşük riskli deney sınıfı için sürekli onay almak; sitenin farklı alanlarında eş zamanlı olarak çakışmayan testler çalıştırmak; sonuçların iki hafta sonra değil, testin tamamlandığı gün elde edilebilmesi için analiz ve raporlamayı otomatikleştirmek. Bunların hiçbiri titizliği tehlikeye atmaz; hepsi bir deney ile bir sonraki deney arasındaki takvim süresini azaltır.

Hız, tek başına değil, kalite ölçütleriyle birlikte değerlendirilmelidir. Faydalı tamamlayıcılar arasında, terk edilmek yerine geçerli bir sonuca ulaşan testlerin oranı, sonuçtan bağımsız olarak belgelenmiş bir öğrenme üreten testlerin oranı, yüksek değerli sayfaları veya akışları ele alan deneylerin payı ve bir test grubu aracılığıyla ölçülen programın kümülatif etkisi yer almaktadır. Yalnızca hızı gösteren bir gösterge paneli, tahmin edilebileceği gibi, daha önemsiz testler çalıştırılarak optimize edilecektir.

Eşzamanlılık, en sık dikkatsizce kullanılan kaldıraç olduğu için özel bir dikkat gerektirir. Birkaç deneyi aynı anda çalıştırmak, testler deneyimin ilgisiz kısımlarını etkilediğinde verimliliği artırır ve çakıştıklarında yorumlanamaz sonuçlar yaratır. Pratik kurallar, her testi etkilediği huni adımlarına ve hedef kitlelere eşlemek, aynı adımı değiştiren iki testi aynı anda çalıştırmaktan kaçınmak ve testler birbirine bitişik olduğunda bağımsızlık varsaymak yerine etkileşim etkilerini kontrol etmektir. Bazı kuruluşlar bunu, etkilenen alanların kaydedildiği aktif deneylerin ortak bir takvimini tutarak çözer; bu gösterişli olmasa da, iki ekibin aynı sayfada çelişkili değişiklikleri bilmeden test ettiği ve her ikisinin de nedenini anlamadan sonuçsuz sonuçlar bildirdiği yaygın durumu önler.

Çoğu kuruluş için, daha yüksek hıza ulaşmanın en hızlı yolu yeni bir araç değil, daha net bir işletme modelidir: kim fikir üretiyor, kim önceliklendiriyor, kim geliştiriyor, kim onaylıyor ve her adımın ne kadar sürmesine izin veriliyor. Bu modeli oluşturmak, bir işletmenin normal bir parçasıdır. büyüme yönetimi Katılım ve bunun sonucunda ortaya çıkan ritim genellikle, sürekli iletişim hattını dolu tutmak için yeterli sayıda hazırlanmış, iyi kanıtlanmış hipoteze sahip olmaya bağlıdır; işte burada sürekli iletişim devreye girer. kullanıcı araştırması Bu, ayrı bir proje olmaktan ziyade, test yol haritasına girdi olarak yerini alıyor.