Loglar
Zaman damgalı, ayrı ayrı olay kayıtları — en ayrıntılı sinyal; tam olarak ne olduğunu yeniden oluşturmak için kullanışlıdır.
İzleme ve Optimizasyon · Adım 06 · Nihai Aşama · Çalışma Şeklimiz
Çalışan yazılım tamamlanmış yazılım değildir.
Bir sistem, sadece çalışıyor olmasıyla anlaşılmaz. Onu anlayabilmek için gözlemlemeli, ölçmeli ve elde edilen kanıtlara göre sürekli iyileştirmeliyiz. Bu son aşama OpenQCore metodolojisinin döngüsünü kapatır — üretilen kanıtlar bir sonraki araştırmaya değer sorunun başlangıç noktası olur.
Soru bu değil
"Sistem hâlâ çalışıyor mu?"
Bunun yerine şu soru
"Bu sistemin gerçek koşullar altında zaman içinde nasıl davrandığını gerçekten anlıyor muyuz — ve bu anlayış sürekli iyileştirmeyi yönlendiriyor mu, yoksa sadece hiçbir şeyin çökmediğini doğrulamakla mı yetiniyor?"
Gözlemlenebilirlik · Olay Müdahalesi · Sürekli İyileştirme · Kanıt · Geri Bildirim
Neden İzleme Dağıtımdan Sonra Gelir
Operasyonel hazır olma bir başlangıçtır, son nokta değildir.
Dağıtım ve Kullanıma Alma, bir sistemin güvenli şekilde çalıştığını ve sorumlularının hazır olduğunu doğrular. Ancak gerçek kullanım, gerçek veriler ve gerçek koşullar zamanla biriktiğinde sistemin nasıl davrandığına dair sürekli, kanıta dayalı bir anlayış üretmez. Bu anlayış bu aşamanın amacıdır.
Operasyonel Hazır Olma → Sürekli Gözlemlenebilirlik
Neden Gözlemlenebilirlik Disiplini Önemlidir
Bir sistemin gerçekten sağlıklı olup olmadığını gösteren dört gösterge.
Google'ın Site Reliability Engineering (2016) çalışması — önceki aşamada atıfta bulunulan aynı araştırma — iyi izlendiğinde çoğu sistemin sağlığını anlamak için yeterli kabul edilen dört gösterge belirler: altın sinyaller.
Gecikme
Bir isteğin cevaplanma süresi — başarılı yanıtları başarısız olanlardan ayırır.
Trafik
Sisteme gelen talep; sistemin işlevine uygun ölçütlerle ölçülür.
Hatalar
Açıkça başarısız olan ya da yanlış sonuç dönen isteklerin oranı.
Doygunluk
Sistemin kaynak sınırlarına ne kadar yakın olduğu ve geriye ne kadar boş kapasite kaldığı.
Beyer, Jones, Petoff & Murphy (eds.), Site Reliability Engineering (2016).
Gözlemlenebilirliğin Üç Temeli
Veri ile anlayış aynı şey değildir.
OpenQCore, gözlemlenebilirliği birbirini tamamlayan üç veri türü etrafında düzenler — bu yaklaşım sektörde yaygın olarak kullanılmakta ve OpenTelemetry projesinde (CNCF tarafından barındırılan açık standart) ile Cindy Sridharan'ın Distributed Systems Observability (2018) kitabında resmiyet kazanmıştır.
Metrikler
Zaman içinde toplanmış sayısal ölçümler — eğilimleri tespit etmek ve uyarı tetiklemek için etkilidir.
İzler
Tek bir isteğin dağıtık bileşenler arasındaki izlediği yol — karmaşık sistemlerde zamanın nerede harcandığını ve hataların nerede meydana geldiğini anlamak için kritiktir.
Sinyallerden Anlayışa
Ham verinin değeri, yorumlanana kadar ortaya çıkmaz.
Loglar, metrikler ve izler tek başlarına içgörü değildir. Bunun anlamlı hale gelmesi için kalıpları ortaya koyan panolarda, dikkat gerektiren konuları öne çıkaran uyarılarda ve nihayetinde kararları bilgilendirebilecek bir anlayışta düzenlenmelidir.
Uyarı Yönetimi: Yorgunluğa Yer Yok
Kimsenin güvenmediği bir uyarı, kimsenin dikkate almadığı uyarıdır.
Operasyon ekiplerinde iyi belgelenmiş bir sorun — genellikle 'uyarı yorgunluğu' diye anılır — uyarıların herhangi bir sayısal sapmaya göre, kullanıcılar veya sistem üzerindeki gerçek etkiye bakılmadan oluşturulmasıyla ortaya çıkar. Sonuç, sonunda önem taşıyanlar da dahil olmak üzere çoğu uyarının görmezden gelinmesine yol açan yüksek bir uyarı hacmidir.
Belirtiye Dayalı Uyarılar
Uyarılar, herhangi bir iç metriğin aralık dışına çıkmasına değil; kullanıcıyı etkileyen gözlemlenebilir bir belirtiye göre tetiklenir.
Eylem Gerektiren Eşikler
Bir uyarı yalnızca, ona yanıt olarak yapılması gereken belirli ve tanımlanmış bir eylem varsa var olur.
Uyarı İnceleme Sıklığı
Uyarı kuralları düzenli aralıklarla gözden geçirilir ve gerçek, eyleme dönüştürülebilir bir durumu artık göstermiyorlarsa devre dışı bırakılır.
Olay Müdahalesi ve Suçlama İçermeyen İncelemeler
Suçlamaya Değil Sistemi Anlamaya Odaklanın.
Bir olay gerçekleştiğinde, OpenQCore'un müdahalesi belgelenmiş, suçlama içermeyen bir postmortem uygulamasını takip eder — bu yaklaşım Google'ın Site Reliability Engineering (2016) çalışmasında resmiyet kazanmıştır — ve analiz, olayda rol oynayan kişiye değil, hatanın oluşmasına izin veren sistemsel koşullara odaklanır.
Bu ayrım pratikte önemlidir: suçlamadan korkan ekipler, bir arızaya yol açan koşulları az bildirme veya gizleme eğilimindedir; bu da aynı hatanın tekrar etme olasılığını artırır. Suçlama içermeyen süreçler, bu koşulları dürüstçe ortaya çıkarmak için tasarlanmıştır; çünkü ancak böylece düzeltilirler.
Sürekli Geri Bildirim Döngüsü
İzleme metodolojiyi bitirmez; onu yeniden başlatır.
İzleme sırasında toplanan sinyaller — performans eğilimleri, tekrarlayan olaylar, model sapmaları, beklenmedik kullanım kalıpları — yalnızca raporlanıp arşivlenmez. Bunlar, bir sorun tanımını yeniden ele almaya, bir mimari varsayımı sorgulamaya veya tamamen yeni, incelenmeye değer bir sorunu belirlemeye gerekçe gösterebilen kanıtlara dönüşür.
İşte bu yüzden OpenQCore'ün altı aşamalı metodolojisi düz bir çizgi yerine döngü haline gelir: İzleme ve Optimizasyon'da üretilen kanıtlar Araştırma ve Keşif'e geri akar; süreç böylece önceki duruma göre daha sağlam bir temelde yeniden başlar.
Referans Değere Göre Performans Optimizasyonu
İyileşme, başarıyı tanımlayan aynı referans değere göre ölçülür.
Optimizasyon çalışmaları, Araştırma ve Keşif sırasında belirlenen referans değer ve başarı kriterlerine göre değerlendirilir — sistemin "daha iyi olduğu" hissine dayanarak değil.
Temel Değer Karşılaştırması
Mevcut performans, sistemin mevcut biçimde olmadan önce kaydedilmiş temel değerle doğrudan karşılaştırılarak ölçülür.
Regresyon Tespiti
Daha önce stabil olan bir metriği bozan değişiklikler tespit edilir ve araştırılır; yeni normal olarak kabul edilmez.
Kapasite Eğilimi Analizi
Kaynak kullanım eğilimleri izlenir; ölçekleme ihtiyaçları bir olay haline gelmeden önce öngörülür.
Model ve Yapay Zeka'ya Özgü İzleme
Yapay zeka sistemleri, geleneksel izlemenin yakalayamadığı kanıtlara ihtiyaç duyar.
Araştırma ve Keşif sırasında yapılan bağlamsal risk analizine paralel olarak, yapay zeka bileşenleri, geleneksel uygulama izlemelerinin tek başına ortaya çıkarmadığı sinyaller açısından takip edilir.
Model Sapması Tespiti
Gerçek dünya verileri, modelin eğitildiği ve değerlendirildiği verilerden saparken model performansının zaman içinde bozulup bozulmadığının sürekli ölçülmesi.
İnsan Müdahalesi Oranı
Bir insan inceleyicinin yapay zekâ kaynaklı öneri veya kararı ne sıklıkla değiştirdiği — sistemin hangi alanlarında güvenin haklı veya haksız olduğunu doğrudan gösteren bir gösterge.
Değerlendirme Yeniden Kalibrasyonu
Dağıtımdan önce yapılan değerlendirmenin sonuçlarına süresizce bağlı kalmak yerine, güncellenmiş kanıtlara göre periyodik yeniden değerlendirmeler yapılır.
Optimizasyon İnceleme Kapısı
İzleme yalnızca bir gösterge panosuyla bitmez; bir karara bağlanır.
İzleme sırasında toplanan kanıtlar, tanımlanmış bir karar eşiğine göre periyodik olarak gözden geçirilir.
İzlemeye Devam Et
Sistem beklenen parametreler içinde çalışıyor; yön değiştirmeye gerek kalmadan izleme devam eder.
Optimizasyon Yap
Kanıtlar, belirli ve sınırlı bir iyileştirmenin haklı olduğunu gösteriyor; bu iyileştirme temel sorun tanımını yeniden ele almadan uygulanabilir.
Araştırma ve Keşfe Yeniden Dön
Kanıtlar, sorunun yalnızca bir optimizasyondan ibaret olmadığını gösteriyor — uygun adım, elde edilen bulgularla Araştırma ve Keşif aşamasına geri dönmektir.
Kullanımdan Kaldır
Kanıtlar, sistemin sağladığı değere kıyasla işletme maliyetini artık haklı çıkarmadığını gösteriyor.
Bu Aşamanın Çıktıları
Sürekli kanıt, tek seferlik rapor değil.
Çalışmanın kapsamına bağlı olarak bu aşama şunları üretir:
Gözlemlenebilirlik Gösterge Paneli
Sistem sağlığı ve temel sinyallerle ilgili günlüklerin, metriklerin ve izlerin canlı görselleştirmesi.
Olay Müdahale Rehberi
Operasyonel olaylara müdahale ve çözüm için dokümante edilmiş prosedürler.
Postmortem İnceleme Kayıtları
Olayların, sistemsel nedenlerinin ve yapılan düzeltici değişikliklerin suçlamadan uzak analizi.
Performans Eğilim Raporu
Performansın zaman içinde orijinal baz hattına ve başarı kriterlerine göre ölçümü.
Model Sapma Raporu
Gerçek dünya verisi ve kullanım desenlerindeki değişimlere göre model performansının izlenmesi.
Optimizasyon İş Listesi
Gelecekteki çalışmalar için önceliklendirilmiş, kanıtlara dayanan iyileştirme fırsatları.
Metodoloji Döngüyü Tamamlar
Kanıt bir sonraki soruya dönüşür.
OpenQCore'in altı aşaması — Araştırma ve Keşif, Strateji ve Mimari, Çözüm Tasarımı, Geliştirme ve Entegrasyon, Dağıtım ve Kullanıma Alma, ile İzleme ve Optimizasyon — burada sona eren tek yönlü bir çizgi oluşturmaz. Bu aşamanın ürettiği kanıtlar, mevcut sistemi iyileştirmek ya da tamamen yeni bir sistemi tanımlamak gibi araştırılmaya değer bir sonraki problemin başlangıç noktası olur.
İzleme ve Optimizasyon → Kanıt → Araştırma ve Keşif
Adım 01
Araştırma ve Keşif
Metodolojinin başladığı yer — elde edilen kanıtların nihayet döndüğü aşama.
Araştırma ve Metodolojik Kaynaklar
Beyer, B., Jones, C., Petoff, J., & Murphy, N. R. (eds.) — Site Reliability Engineering: How Google Runs Production Systems (2016)
Yukarıda sözü geçen 'golden signals' ve 'blameless postmortem' kavramlarının kaynağı.
Sridharan, C. — Dağıtık Sistemlerde Gözlemlenebilirlik (2018); OpenTelemetry (CNCF)
Yukarıda atıfta bulunulan, gözlemlenebilirliğin üç temel direği çerçevesinin kaynağı.
NIST — Yapay Zekâ Risk Yönetimi Çerçevesi (AI RMF 1.0)
Yukarıdaki yapay zekâya özgü izleme bölümünde bahsedilen bağlamsal risk yaklaşımının kaynağı.