1C monitoringida nima koʻrinadi
Toʻgʻri monitoring uchta savolga javob beradi: servis tirikmi, tizim tez ishlayaptimi va bir oydan keyin nima boʻladi. Bizning yechim yuqori yuklamali produktivda (ERP + WMS, bir nechta 1C klasteri) qurilgan va sinovdan oʻtgan, metrikalarni esa uch qatlamda yigʻadi:
- MBBT (MS SQL Server) - 9 guruh kollektor: mavjudlik, bloklashlar, xotira, kutishlar, uzoq soʻrovlar, Always On, tempdb va hatto toʻgʻridan-toʻgʻri 1C jadvallaridan olinadigan amaliy navbatlar. Alohida hodisa yigʻuvchisi bloklashlarni soniyada bir marta soʻraydi va ularning toʻliq tarixini qayd etadi - soʻrov matnlari va aybdorlari bilan; dedloklar Extended Events graflari boʻyicha tahlil qilinadi.
- 1C klasteri (RAS/RAC orqali) - oʻz eksporterimiz: rphost/ragent/rmanager holati, sessiyalar, jarayonlar xotirasi, litsenziyalar; “SQL dagi SPID → aniq 1C sessiyasi” bogʻlanishi - intsident tahlilida serverni kimning kodi ushlab turgani koʻrinadi.
- Roʻyxatga olish jurnallari → ClickHouse - barcha bazalar hodisalari analitik omborga deyarli real vaqtda joʻnaydi; milliarddan ortiq hodisali jadvallar qidiruv uchun tezligini saqlab qoladi. Xatolar, qotib qolishlar, foydalanuvchi harakatlari - hammasi konfiguratorda varaqlanmasdan, soniyalar ichida topiladi.
Texnik metrikalar ustida - APDEX: asosiy operatsiyalar tezligini foydalanuvchi qanday koʻrsa, shunday oʻlchash. Bu rahbar uchun bosh koʻrsatkich: tizim serverlar tirikligi uchun emas, odamlarga tez ishlagani uchun “yashil”.
Yechim raqamlarda
- Monitoringning 3 qatlami: MBBT, 1C klasteri, roʻyxatga olish jurnallari
- Faqat MBBT qatlamining oʻzida 50+ Prometheus metrikasi va 12+ alert qoidasi
- Bloklashlar - soniyada bir marta, 1C klasteri - har 10 soniyada soʻraladi
- ClickHouse da bitta bazaga > 1 mlrd roʻyxatga olish jurnali hodisasi - qidiruv tezligi yoʻqolmaydi
- Stek: Prometheus, Grafana, Loki, ClickHouse, Alertmanager - ochiq, litsenziya toʻlovlarisiz
Nega Grafana + Prometheus
Bu ochiq industrial standart: litsenziya toʻlovlarisiz, ulkan ekotizim bilan va pudratchiga bogʻlanishsiz. Biz oʻrnatgan hamma narsa Sizda qoladi - hujjatlar va sozlangan huquqlar bilan. Xohlasangiz - biz kuzatib boramiz, xohlasangiz - oʻzingiz boshqarasiz.
Roʻyxatga olish jurnali ClickHouse-da: milliardlab hodisada kuzatuvchanlik
Yuqori yuklamali bazalar uchun monitoringga alohida kontur kiradi - roʻyxatga olish jurnalini real vaqtda ClickHouse-ga chiqarish. Sutkasiga oʻnlab million hodisa oqimida shtat jurnali ochilmay qoladi; ustunli omborga chiqarilgandan soʻng sutka boʻyicha xatolarni qidirish soniya ulushini oladi, tarix oylar davomida saqlanadi, foydalanuvchilar esa ostida milliardlab qator turganini bilmay, odatiy jurnal shaklida ishlaydi. Ustida - oqim uzilishi haqida Telegram-alertlar va xatolarning AI-tahlili.
Bu jangovar sharoitda ishlaydi: sutkasiga 170 mln hodisa oqimi boʻlgan joriy etishda (choʻqqi - soniyasiga 11 300 hodisa) sutka boʻyicha qidiruv 0,11 soniya oladi, yarim yillik kuzatuvchanlikdan soʻng proddagi xatolar soni 23 barobar kamaydi. Toʻliq raqamlar - “Roʻyxatga olish jurnali ClickHouse-da: 35 mlrd hodisa” keysida.
Bezdirmaydigan alertlar
Monitoringning bosh dardi - hamma eʼtiborsiz qoldiradigan alertlar. Biz chegaralarni ikki bosqichda sozlaymiz: avval real yuklamada “sinov”, soʻng nozik moslash - Telegramdagi bildirishnoma faqat bitta maʼnoni anglatishi uchun: harakat qilish kerak. rphost yiqilishi, almashinuv navbatining oʻsishi, tugab borayotgan joy, APDEX degradatsiyasi - bularni daqiqalar ichida, trendlarni esa ular avariyaga aylanishidan haftalar oldin bilib olasiz.
