1С мониторингінде не көрінеді
Дұрыс мониторинг үш сұраққа жауап береді: сервис тірі ме, жүйе жылдам жұмыс істей ме және бір айдан кейін не болады. Біздің шешім жоғары жүктемелі продуктивте (ERP + WMS, бірнеше 1С кластері) құрылып, сынақтан өткен және метрикаларды үш қабатта жинайды:
- ДҚБЖ (MS SQL Server) - 9 топ коллектор: қолжетімділік, құлыптаулар, жады, күтулер, ұзақ сұраулар, Always On, tempdb, тіпті 1С кестелерінен тікелей алынатын қолданбалы кезектер. Бөлек оқиғалық жинағыш құлыптауларды секунд сайын сұрап, олардың толық тарихын тіркейді - сұрау мәтіндерімен және кінәлілерімен бірге; дедлоктар Extended Events графтары бойынша талданады.
- 1С кластері (RAS/RAC арқылы) - өз экспортеріміз: rphost/ragent/rmanager күйі, сессиялар, процестер жады, лицензиялар; “SQL-дегі SPID → нақты 1С сессиясы” байланысы - инцидентті талдағанда серверді кімнің коды ұстап тұрғаны көрінеді.
- Тіркеу журналдары → ClickHouse - барлық базалардың оқиғалары аналитикалық қоймаға дерлік нақты уақытта кетеді; миллиардтан астам оқиғасы бар кестелер іздеу үшін жылдам күйінде қалады. Қателер, қатып қалулар, пайдаланушы әрекеттері - бәрі конфигураторда парақталмай, секундтар ішінде табылады.
Техникалық метрикалардың үстінде - APDEX: негізгі операциялардың жылдамдығын пайдаланушы көретіндей өлшеу. Бұл - басшыға арналған басты көрсеткіш: жүйе серверлер тірі болғандықтан емес, адамдарға жылдам болғандықтан “жасыл”.
Шешім сандармен
- 3 қабат мониторинг: ДҚБЖ, 1С кластері, тіркеу журналдары
- Тек ДҚБЖ қабатының өзінде 50+ Prometheus метрикасы және 12+ алерт ережесі
- Құлыптаулар - секунд сайын, 1С кластері - әр 10 секунд сайын сұралады
- ClickHouse-тағы бір базаға > 1 млрд тіркеу журналы оқиғасы - іздеу жылдамдығы жоғалмайды
- Стек: Prometheus, Grafana, Loki, ClickHouse, Alertmanager - ашық, лицензиялық төлемдерсіз
Неге Grafana + Prometheus
Бұл - ашық индустриялық стандарт: лицензиялық төлемдерсіз, орасан зор экожүйемен және мердігерге байлаусыз. Біз өрістеткеннің бәрі сізде қалады - құжаттамасымен және бапталған құқықтарымен бірге. Қаласаңыз - сүйемелдейміз, қаласаңыз - өзіңіз қызмет көрсетесіз.
ClickHouse-тағы тіркеу журналы: миллиардтаған оқиғадағы бақылаушылық
Жүктемесі жоғары базалар үшін мониторингке бөлек контур кіреді - тіркеу журналын нақты уақытта ClickHouse-қа шығару. Тәулігіне ондаған миллион оқиға ағынында штаттық журнал ашылмай қалады; бағаналы қоймаға шығарғаннан кейін тәулік ішіндегі қателерді іздеу секундтың үлесін алады, тарих айлар бойы сақталады, ал пайдаланушылар астында миллиардтаған жол тұрғанын білмей, үйреншікті журнал формасында жұмыс істейді. Үстінде - ағын үзілгені туралы Telegram-алерттер және қателерді AI-талдау.
Бұл жауынгерлік жағдайда жұмыс істейді: тәулігіне 170 млн оқиға ағыны бар енгізуде (шыңы - секундына 11 300 оқиға) тәулік бойынша іздеу 0,11 секунд алады, ал жарты жыл бақылаушылықтан кейін продтағы қателер саны 23 есе азайды. Толық сандар - “ClickHouse-тағы тіркеу журналы: 35 млрд оқиға” кейсінде.
Мезі қылмайтын алерттер
Мониторингтің басты дерті - бәрі елемейтін алерттер. Біз шектерді екі кезеңде баптаймыз: алдымен нақты жүктемеде “сынақтан өткізу”, содан кейін дәл баптау - сонда Telegram-дағы хабарлама тек бір нәрсені білдіреді: әрекет ету керек. rphost құлауы, алмасу кезегінің өсуі, таусылып бара жатқан орын, APDEX деградациясы - бұл туралы минуттар ішінде білесіз, ал трендтер туралы - олар аварияға айналудан апталар бұрын.
