1C monitorinqində nə görünür
Düzgün monitorinq üç suala cavab verir: servis sağdırmı, sistem sürətli işləyirmi və bir aydan sonra nə olacaq. Həllimiz yüksək yüklənməli produktivdə (ERP + WMS, bir neçə 1C klasteri) qurulub və sınaqdan keçib, metrikləri isə üç qatda toplayır:
- VBİS (MS SQL Server) - 9 qrup kollektor: əlçatanlıq, kilidlənmələr, yaddaş, gözləmələr, uzun sorğular, Always On, tempdb və hətta birbaşa 1C cədvəllərindən götürülən tətbiqi növbələr. Ayrıca hadisə toplayıcısı kilidlənmələri saniyədə bir dəfə sorğulayır və onların tam tarixçəsini qeydə alır - sorğu mətnləri və günahkarları ilə; dedloklar Extended Events qrafları üzrə araşdırılır.
- 1C klasteri (RAS/RAC vasitəsilə) - öz eksporterimiz: rphost/ragent/rmanager vəziyyəti, sessiyalar, proseslərin yaddaşı, lisenziyalar; “SQL-dəki SPID → konkret 1C sessiyası” əlaqəsi - insident araşdırılarkən serveri kimin kodunun tutduğu görünür.
- Qeydiyyat jurnalları → ClickHouse - bütün bazaların hadisələri analitik anbara demək olar ki, real vaxtda gedir; milyarddan çox hadisəsi olan cədvəllər axtarış üçün sürətli qalır. Xətalar, donmalar, istifadəçi hərəkətləri - hamısı konfiquratorda vərəqlənmir, saniyələr içində tapılır.
Texniki metriklərin üstündə - APDEX: əsas əməliyyatların sürətinin istifadəçinin gördüyü şəkildə ölçülməsi. Bu, rəhbər üçün əsas göstəricidir: sistem serverlər sağ olduğuna görə yox, insanlar üçün sürətli olduğuna görə “yaşıldır”.
Həll rəqəmlərlə
- Monitorinqin 3 qatı: VBİS, 1C klasteri, qeydiyyat jurnalları
- Təkcə VBİS qatı üzrə 50+ Prometheus metriki və 12+ alert qaydası
- Kilidlənmələr - saniyədə bir dəfə, 1C klasteri - hər 10 saniyədən bir sorğulanır
- ClickHouse-da bir bazaya > 1 mlrd qeydiyyat jurnalı hadisəsi - axtarış sürəti itmir
- Stek: Prometheus, Grafana, Loki, ClickHouse, Alertmanager - açıq, lisenziya ödənişləri olmadan
Niyə Grafana + Prometheus
Bu, açıq sənaye standartıdır: lisenziya ödənişləri olmadan, nəhəng ekosistemlə və podratçıya bağlılıq olmadan. Yerləşdirdiyimiz hər şey sizdə qalır - sənədləşmə və sazlanmış hüquqlarla. İstəsəniz - müşayiət edərik, istəsəniz - özünüz idarə edərsiniz.
Qeydiyyat jurnalı ClickHouse-da: milyardlarla hadisədə müşahidəlilik
Yüksək yüklü bazalar üçün monitorinqə ayrıca kontur daxildir - qeydiyyat jurnalının real vaxtda ClickHouse-a çıxarılması. Gündə on milyonlarla hadisə axınında ştat jurnalı açılmır; sütunlu anbara çıxarıldıqdan sonra gün üzrə xəta axtarışı saniyənin bir hissəsini alır, tarix aylarla saxlanılır, istifadəçilər isə altında milyardlarla sətir olduğunu bilmədən adi jurnal formasında işləyirlər. Üstündə - axının dayanması barədə Telegram-alertlər və xətaların AI-təhlili.
Bu, döyüş şəraitində işləyir: gündə 170 mln hadisə axını olan tətbiqdə (pik - saniyədə 11 300 hadisə) gün üzrə axtarış 0,11 saniyə çəkir, yarımillik müşahidəlilikdən sonra proddakı xətaların sayı 23 dəfə azalıb. Tam rəqəmlər - “Qeydiyyat jurnalı ClickHouse-da: 35 mlrd hadisə” keysində.
Bezdirməyən alertlər
Monitorinqin əsas xəstəliyi - hamının görməzdən gəldiyi alertlərdir. Biz hədləri iki mərhələdə sazlayırıq: əvvəlcə real yük altında “sınaq”, sonra dəqiq tənzimləmə - Telegram-dakı bildiriş tam olaraq bir şey bildirsin: hərəkət etmək lazımdır. rphost-un dayanması, mübadilə növbəsinin artımı, bitməkdə olan disk yeri, APDEX deqradasiyası - bunları dəqiqələr içində, trendləri isə qəzaya çevrilməzdən həftələr əvvəl öyrənirsiniz.
