Educore · Denetim
DR-HİZ-045
Hizmet Doğrulama ve Test Denetim Gereklilikleri
Kapsam
Bu doküman, Hizmet Doğrulama ve Test pratiğinin kurumdaki uygulanma düzeyinin bağımsız olarak değerlendirilmesinde kullanılacak şartları belirler. Kapsam; yeni veya değişen ürün, hizmet ve hizmet bileşenlerine ilişkin gereksinimlerin ölçülebilir kabul ölçütlerine çevrilmesini, test yaklaşımı ile test modellerinin tanımlanmasını, test kapsamının risk temelinde kararlaştırılmasını, test ortamlarının ve test verisinin hazırlanmasını, testlerin yürütülmesini ve kayda alınmasını, kusurların yönetilmesini, çıkış ölçütlerinin değerlendirilmesini, geçiş ve yayın kararının kanıtlandırılmasını, test kapanışını ve öğrenilenlerin yaklaşıma geri beslenmesini içerir. Yazılım geliştirmenin, dağıtım ve sürüm yayınlama faaliyetlerinin kendi yürütme sorumlulukları, test bütçesinin finansal kontrolü ve canlı ortamdaki olay ile problem çözümü bu dokümanın kapsamı dışındadır; bu alanlara yalnızca doğrulama ve test ile aralarındaki arayüzler ölçüsünde atıf yapılır. Şartlar, kurumun büyüklüğü, geliştirme yöntemi ve hizmetin risk profiline göre orantılı biçimde uygulanır; orantılılık gerekçesi de denetim sırasında kayıt üzerinden değerlendirilir.
Değerlendirme yöntemi
Her madde tek bir denetlenebilir şart ifade eder ve üç durumdan biriyle işaretlenir. Karşılıyor: şartın tamamı için tarih, sürüm ve sorumlu bilgisi taşıyan kanıt sunulur ve kanıt son on iki ay içinde gerçekleşmiş en az iki uygulama örneğiyle desteklenir. Kısmen karşılıyor: şart tanımlıdır ancak kanıt eksik ya da güncel değildir, veya yalnızca bazı ürün, hizmet ve ekipler için geçerlidir. Karşılamıyor: tanım veya kanıt yoktur ya da sunulan kanıt şartı doğrulamaz. Sözlü beyan tek başına kanıt sayılmaz; her madde en az bir kayıt, doküman veya sistem çıktısı ile desteklenmelidir. Kanıtlar, dönem içinde tamamlanmış geçişlerden seçilen örneklem üzerinden incelenir; örneklem büyüklüğü ve seçim ölçütü denetim kaydına yazılır. Bir maddenin kurum için uygulanabilir olmadığı değerlendiriliyorsa gerekçesi yazılı olarak alınır; gerekçe yoksa madde karşılanmamış sayılır. Kısmen karşılıyor ve karşılamıyor işaretlenen her madde; etkisi, kök nedeni ve önerisiyle bulgu listesine aktarılır ve boyut bazlı olgunluk profiline işlenir.
Durum işaretleriKarşılıyorKısmen karşılıyorKarşılamıyor
Dokümanı açın
Kurumsal e-postanızı bırakın, 45 maddenin tamamı açılsın
Doküman ücretsizdir. E-postanızı yalnızca dokümanı iletmek ve denetim konusundaki güncellemeleri paylaşmak için kullanırız.
Gönderdiğinizde KVKK Aydınlatma Metni'ni kabul etmiş olursunuz.
01Yönetişim ve test yaklaşımı
| Madde | Şart | Kanıt | Durum |
|---|---|---|---|
| 01.01 | Doğrulama ve test pratiğinin kurum içindeki sorumlusu atanmış; bu rolün karar yetkisi, yetki sınırları ve raporlama hattı yazılı olarak tanımlanmış olmalıdır. | Atama yazısı veya görev tanımı; yetki ve karar sınırlarını gösteren yetki matrisi. | |
| 01.02 | Kurumun yazılı bir test yaklaşımı (test stratejisi) bulunmalı; bu doküman yetkili yönetim tarafından onaylanmış, sürümlenmiş ve hangi ürün ile hizmet sınıflarını kapsadığı belirtilmiş olmalıdır. | Onaylı test yaklaşımı dokümanı; onay tarihi, sürüm numarası ve kapsam bölümü. | |
| 01.03 | Test yaklaşımı, kurumun risk iştahını ve hangi risk düzeyinde hangi güvence derinliğinin arandığını açıkça tanımlamış olmalıdır. | Yaklaşım dokümanındaki risk iştahı bölümü; risk düzeyi ile test derinliğini eşleştiren tablo. | |
| 01.04 | Test yaklaşımı, kapsanan test aşamalarını (birim, entegrasyon, sistem, kullanıcı kabul) ve test türlerini (işlevsel; performans, yük, dayanıklılık, güvenlik ve kullanılabilirlik dâhil işlevsel olmayan; regresyon) tanımlamalı ve her aşama ile tür için kullanılacak tekrarlanabilir test modelini belirtmelidir. | Aşama ve tür matrisi; test modeli kataloğu ve modellerin ürün tipiyle eşleştirilmesi. | |
| 01.05 | Test yaklaşımı, standartlar ve test modelleri en az yılda bir kez ve geliştirme yöntemi, teknoloji ya da hizmet portföyünde önemli değişiklik olduğunda gözden geçirilmeli; gözden geçirmenin sonucu kayda alınmalıdır. | Gözden geçirme tutanağı veya kayıt notu; doküman sürüm geçmişi ve değişiklik gerekçeleri. | |
| 01.06 | Test yaklaşımına uyum, ürün ve hizmet portföyü genelinde izlenmeli; yaklaşımdan sapan geçişler gerekçesi ve onaylayan yetkilisi ile birlikte kayda alınmalıdır. | Uyum izleme raporu; onaylı sapma veya muafiyet kayıtları. |
02Hizmet doğrulama ve kabul ölçütleri
| Madde | Şart | Kanıt | Durum |
|---|---|---|---|
| 02.01 | Her yeni veya değişen ürün ve hizmet için kabul ölçütleri tasarım aşamasında yazılı olarak tanımlanmış ve ilgili paydaşlar tarafından onaylanmış olmalıdır. | Hizmet tasarım paketine ekli, onay tarihi taşıyan kabul ölçütü listesi. | |
| 02.02 | Kabul ölçütleri; işlevsel fayda, güvence (kullanılabilirlik, kapasite, süreklilik, güvenlik), kullanıcı deneyimi, yönetilebilirlik ve mevzuat ile iç kural uyumu başlıklarını ayrı ayrı kapsamalıdır. | Ölçüt listesinde bu beş başlığın ayrışmış biçimde yer aldığını gösteren örneklem. | |
| 02.03 | Her kabul ölçütü ölçülebilir olmalı; ölçütün eşiği, ölçüm yöntemi ve geçti ile kalmadı kararının nasıl verileceği yazılı olmalıdır. | Eşik, ölçüm yöntemi ve karar kuralı kolonlarını içeren kabul ölçütü kaydı. | |
| 02.04 | Her kabul ölçütü, dayandığı müşteri veya kullanıcı gereksinimine, iş hedefine, mevzuat gerekliliğine ya da güvenlik gerekliliğine izlenebilir biçimde bağlanmış olmalıdır. | Gereksinim ile kabul ölçütü arasındaki izlenebilirlik matrisi. | |
| 02.05 | Kabul ölçütlerinin ürün yaşam döngüsünün aşamaları (tasarım, kod, dağıtım hattı, sürüm yayını, canlı hizmet) boyunca güncellenmesi tanımlanmış olmalı ve güncellemeler kayda geçmelidir. | Sürümlenmiş kabul ölçütü seti; aşama geçişlerinde yapılan güncelleme kayıtları. | |
| 02.06 | Test sonuçlarının kabul ölçütlerini karşıladığının doğrulanması ve paydaşlara beyan edilmesi atanmış bir role verilmiş olmalı; doğrulama kaydı tutulmalıdır. | Onaylı hizmet kabul bildirimi; doğrulamayı yapan rolün adı ve doğrulama tarihi. |
03Risk temelli kapsam kararı ve test planlaması
| Madde | Şart | Kanıt | Durum |
|---|---|---|---|
| 03.01 | Test kapsamı, gereksinimlerden sapmanın olasılığı ve etkisi değerlendirilerek belirlenmeli; kapsam kararının gerekçesi yazılı olmalıdır. | Geçişe ait risk değerlendirmesi ve kapsam gerekçe notu; kapsamı onaylayan rolün kaydı. | |
| 03.02 | Her önemli ürün veya hizmet değişikliği için ürün riskleri (işlev, performans, güvenlik, entegrasyon, erişilebilirlik, kullanılabilirlik, gözlemlenebilirlik, bakım yapılabilirlik ve benzeri) tanımlanmış ve kabul ölçütleriyle aynı dönemde kayda alınmış olmalıdır. | Tarihli risk listesi veya risk haritası; kabul ölçütü çalışmasıyla eşzamanlılığını gösteren kayıt. | |
| 03.03 | Test edilmemesine karar verilen riskler; gerekçesi, artık risk düzeyi ve kabul eden yetkilisi ile birlikte kayda alınmalıdır. | Kabul edilen risk kayıtları ve onay akışı çıktısı. | |
| 03.04 | Her test aşaması için test planı bulunmalı; plan faaliyetleri, süre ve kaynak tahminlerini, takvimi ve sorumlularını tanımlamalı, yinelemeli geliştirme yürütülen durumlarda planlama toplantılarında test kalemleri yer almalıdır. | Onaylı aşama test planları; planlama toplantı kayıtlarında test kalemlerinin görüldüğü örneklem. | |
| 03.05 | Test kapsamı, sürüm yükünün ayrıştırılmış bileşenleri ve regresyon odak alanları bazında tanımlanmış olmalı; her bileşen ve odak alanı için ayrı test paketi belirlenmelidir. | Bileşen ve odak alanı bazlı test paketi listesi; paketlerin sürüm yüküyle eşleştirilmesi. | |
| 03.06 | Test takvimi, en yüksek riskli veya en yeni bileşenlerin önce sınanmasını sağlayacak biçimde sıralanmalı ve kusur çözümü için önceden hesaplanmış bir pay içermelidir. | Döngü planı ve sıralama gerekçesi; kusur oranı varsayımlarını içeren süre tahmin tablosu. |
04Roller, bağımsızlık ve yetkinlik
| Madde | Şart | Kanıt | Durum |
|---|---|---|---|
| 04.01 | Testi yürüten sorumluluk, geliştiren sorumluluktan ayrılmış olmalı; ayrımın hangi test aşamalarında nasıl sağlandığı yazılı olarak tanımlanmalıdır. | Görevler ayrılığı tanımı; rol atama tablosu veya organizasyon şeması. | |
| 04.02 | Test yönetimi, test yürütme ve kusur yönetimi rolleri tanımlanmış ve isimli olarak atanmış olmalıdır. | Rol ile kişi eşleştirme listesi; rollere ait güncel görev tanımları. | |
| 04.03 | Kullanıcı kabul testinden sorumlu iş tarafı temsilcileri belirlenmiş ve testi yürütmek üzere görevlendirilmiş olmalıdır. | Kullanıcı kabul testi katılımcı listesi ve görevlendirme yazısı; imzalı kabul kaydı. | |
| 04.04 | Test rollerinin yetkinlik gereklilikleri tanımlanmalı ve karşılanma durumu düzenli aralıklarla değerlendirilmelidir. | Yetkinlik matrisi; eğitim ve sertifika kayıtları ile son değerlendirme tarihi. | |
| 04.05 | Doğrulama ve test faaliyetlerinin yapılandırma, değişiklik, dağıtım, sürüm yayınlama ve hizmet masası faaliyetleriyle arayüzleri ile devir noktaları yazılı olmalıdır. | Arayüz ve sorumluluk tablosu; devir noktalarını gösteren süreç akışı. | |
| 04.06 | Doğrulama ve test faaliyetlerinin bir bölümü dış taraflarca yürütülüyorsa; kapsam, uygulanacak kabul ölçütleri, kayıt teslimi ve bağımsızlık gereklilikleri sözleşmede tanımlanmış olmalı, dış taraf çıktıları kurum içinde gözden geçirilmelidir. | Sözleşme veya şartname maddeleri; dış taraf test raporları ve bunların kurum içi gözden geçirme kayıtları. |
05Test ortamları, test verisi ve yürütme
| Madde | Şart | Kanıt | Durum |
|---|---|---|---|
| 05.01 | Hangi risk türünün hangi ortamda (geliştirme, ekip içi test, ön yayın, canlı) sınanacağı tanımlanmış olmalı; test ortamlarının yapılandırması kayıtlı ve canlı ortamdan bilinen sapmaları belgelenmiş olmalıdır. | Risk ile ortam eşleştirme tablosu; ortam yapılandırma kaydı ve sapma listesi ile etki değerlendirmesi. | |
| 05.02 | Test yürütmesine başlanmadan önce ortam ve sistem hazırlık testleri (giriş ölçütleri) başarıyla tamamlanmış olmalı ve sonucu kayda alınmalıdır. | Giriş ölçütü kontrol listesi; hazırlık testi sonucu ve başlatma onayı. | |
| 05.03 | Test verisinin üretilmesi, korunması, yeniden kullanımı ve imhası yazılı kurallarla tanımlanmalı; kişisel veri içeren test verisinin maskelendiği veya anonimleştirildiği kayıtla gösterilmelidir. | Test verisi yönetim kuralı; maskeleme veya anonimleştirme işlem kaydı; erişim yetki listesi. | |
| 05.04 | Her test koşumu için sonuç (geçti veya kalmadı), koşum tarihi, koşan kişi ya da araç ve test edilen sürüm kayda alınmalıdır. | Test yönetim aracından alınan koşum kayıtları örneklemi; sürüm etiketi eşleşmesi. | |
| 05.05 | Senaryo temelli doğrulayıcı testler ile keşifsel testler birlikte planlanmalı; keşifsel testler tanımlı görev ve odak tanımlarıyla yürütülmeli ve bulguları kayda geçmelidir. | Keşifsel test görev tanımları; oturum notları ve buradan doğan kusur veya risk kayıtları. |
06Kusur yönetimi, çıkış ölçütü ve kapanış
| Madde | Şart | Kanıt | Durum |
|---|---|---|---|
| 06.01 | Kusur kayıt akışı tanımlanmış olmalı; her kusur için önem derecesi ve öncelik ayrı ayrı sınıflandırılmalı ve sınıf tanımları yazılı olmalıdır. | Kusur yönetim prosedürü; önem ve öncelik sınıf tanımları; sınıflandırılmış kusur kayıtları örneklemi. | |
| 06.02 | Kusurların çözümü ve yeniden test edilmesi için sorumlu ile hedef süreler tanımlanmalı, gerçekleşen süreler izlenmeli ve hedefi aşan kusurlar yükseltilmelidir. | Kusur yaş ve çözüm süresi raporu; yükseltme kayıtları. | |
| 06.03 | Her test aşaması için çıkış ölçütleri, test analizi ve tasarımı sırasında yazılı olarak tanımlanmış ve onaylanmış olmalıdır. | Onaylı çıkış ölçütü tanımı; onay tarihi ve onaylayan rol. | |
| 06.04 | Aşama geçiş ve yayın kararı, çıkış ölçütlerine karşı değerlendirilmiş bir test raporuna dayanmalı; karar, karar veren yetkili ve devredilen açık riskler kayda alınmalıdır. | Test çıkış raporu; geçiş veya yayın kararı kaydı ve açık risk listesi. | |
| 06.05 | Çıkış ölçütleri karşılanmadan geçiş kararı verilen durumlar istisna olarak yönetilmeli; gerekçe, telafi edici kontroller ve onaylayan yetkili kayda alınmalıdır. | İstisna veya muafiyet kaydı; telafi edici kontrol tanımı ve onay çıktısı. | |
| 06.06 | Test kapanışı; kaynakların serbest bırakılmasını, test varlıklarının (yaklaşım, plan, senaryo, rapor) arşivlenip dizinlenmesini ve regresyon paketinin işletme tarafına devredilmesini içermeli ve kayda alınmalıdır. | Kapanış tutanağı; arşiv dizini; devredilen regresyon paketi ve bakım sorumlusu kaydı. |
07Kayıt, bilgi ve raporlama
| Madde | Şart | Kanıt | Durum |
|---|---|---|---|
| 07.01 | Test kayıtlarının hangi bilgiyi içereceği, nerede tutulacağı ve ne kadar süre saklanacağı bir kayıt standardıyla tanımlanmış olmalıdır. | Test kaydı standardı; saklama süresi tablosu; kayıt yerini gösteren sistem tanımı. | |
| 07.02 | Test kayıtları, test edilen yapılandırma öğesi ve sürüm ile ilişkilendirilmiş olmalı; bir sürümün hangi testlerle sınandığı geriye dönük gösterilebilmelidir. | Sürüm ile test kaydı arasındaki bağı gösteren örneklem sorgu çıktısı. | |
| 07.03 | Test durumu raporlaması tanımlı aralıklarla (asgari günlük ve haftalık) yapılmalı; kapsam ilerlemesi ile geçti ve kalmadı oranları sürüm yükü bileşenleri ve regresyon odak alanları bazında ayrıştırılmalıdır. | Dönem raporları örneklemi; bileşen ve odak alanı kırılımını içeren rapor şablonu. | |
| 07.04 | Raporlama yalnızca toplam kapsam yüzdesine dayanmamalı; koşulan, bekleyen ve engellenen testler ile taşınan risk açıkça gösterilmelidir. | Koşulan, bekleyen ve engellenen ayrımını içeren rapor formatı; açık risk bölümü. | |
| 07.05 | Test varlıkları (yaklaşım, standart, model, plan, senaryo, rapor) sürümlenmiş ve erişim yetkisi tanımlı bir depoda saklanmalı ve ilgili taraflara erişilebilir olmalıdır. | Depo veya kütüphane envanteri; sürüm geçmişi ve erişim yetki kaydı. |
08Ölçüm, iyileştirme ve otomasyon
| Madde | Şart | Kanıt | Durum |
|---|---|---|---|
| 08.01 | Pratiğin performansı için ölçütler tanımlanmış olmalı; asgari olarak kabul ölçütlerini karşılayan ürün ile hizmet oranı, testte yakalanmayıp canlı ortamda ortaya çıkan kusur sayısı ve paydaş memnuniyeti izlenmelidir. | Ölçüt tanımları ve hesaplama kuralları; son iki döneme ait ölçüm raporu. | |
| 08.02 | Canlı ortamda ortaya çıkan ve testte yakalanmamış olay ile problemler, test kapsamındaki hangi boşluktan doğduğu belirlenerek analiz edilmeli ve sonuç test yaklaşımına veya senaryo setine işlenmelidir. | Kaçan kusur analizi kayıtları; analiz sonucu yapılan yaklaşım veya senaryo güncellemesi. | |
| 08.03 | Önemli test faaliyetlerinin sonunda öğrenilenler toplanmalı; ele alınan, tekrarlanan ve ele alınmayan dersler ayrı ayrı işaretlenerek bir sonraki döneme devredilmelidir. | Öğrenilen dersler kaydı ve durum işaretleri; bir sonraki dönem plan veya yaklaşım değişikliği. | |
| 08.04 | Otomasyona alınacak testler; tekrar sıklığı, ürettiği bilgi ve kapsadığı risk dikkate alınarak seçilmeli, otomasyon kapsamı ile kapsam dışı bırakılanlar gerekçesiyle kayda alınmalıdır. | Otomasyon kapsam listesi; seçim ve kapsam dışı bırakma gerekçeleri. | |
| 08.05 | Otomatik test koşumlarının sonuçları izlenmeli; kararsız (aynı koşulda farklı sonuç veren) ve bilgi üretmeyen koşumlar tanımlı aralıklarla gözden geçirilerek düzeltilmeli veya kapsamdan çıkarılmalıdır. | Koşum kararlılığı raporu; gözden geçirme kaydı ve alınan düzeltme veya kapsam dışı bırakma kararları. |