1C qeydiyyat jurnalı ClickHouse-da

Yüklü bazada standart qeydiyyat jurnalı işləməyi dayandırır: fayllar gündə onlarla giqabayt artır, hər hansı süzgəcdə baxış donur, iki həftədən dərin tarix əlçatan deyil. Biz jurnalı real vaxtda ClickHouse-a axıdırıq - günlük xətaların axtarışı 0,11 saniyə çəkir, tarix 7+ ay yaşayır, jurnallar üçün yer isə 6,7 dəfə azalır.

WhatsApp-da yazın Pulsuz ekspress-audit əldə edin

700 000 ₸-dən qiymət · bir 1C klasterinə tam tətbiq, vergilər olmadan son qiymət - bazalar parkına baxışdan sonra

İşləyirik: ClickHouse

ClickHouse, the ClickHouse logo, and related marks are trademarks or registered trademarks of ClickHouse, Inc. or its affiliates.

Tanış problemlərdir?

Jurnal var, istifadə etmək mümkün deyil

Konfiquratorda baxış dəqiqələrlə açılır və hər hansı süzgəcdə donur. "Bu istifadəçi bir ay əvvəl nə etdi" sualına cavab vermək praktiki olaraq mümkünsüzdür.

Jurnallar döyüş serverinin disklərini yeyir

Gündə 150-194 mln hadisə gündə onlarla giqabayta çevrilir. İki həftədən dərin tarixi saxlamaq döyüş disklərini terabaytlarla doldurmaq deməkdir.

Buraxılışdan sonra yaxşılaşdı ya pisləşdi - bilinmir

Prodda xətaların sayını heç kim saymır, çünki sayacaq alət yoxdur. Buraxılış keyfiyyəti barədə söhbət hisslər üzərində gedir.

Xətalar barədə istifadəçilərdən bilinir

Fon tapşırığındaki xəta kimsə zəng edənə qədər bir gün yaşayır. Jurnalda o var, lakin tapmağa heç kimin vaxtı çatmır.

Nəticədə nə alınır

Jurnal “hər ehtimala qarşı” arxivi olmaqdan çıxıb işlək alətə çevrilir. Aşağıdaki rəqəmlər 2024-cü ilin aprelindən bir klasterdə üç istehsalat bazasında (əsas uçot bazası və iki anbar) işləyən döyüş tətbiqindəndir.

35+ mlrd hadisə üç baza üzrə onlayn tarix
0,11 saniyə - son gündəki bütün xətaların axtarışı, bu 158,5 mln sətir
61 saniyə - 30,5 mlrd sətirdəki bütün tarix üzrə analitika
6,7 dəfə sıxılma: 2,5 TB jurnal 380 QB-a çevrildi
saniyədə 11 300 hadisə axının pikində, itki olmadan
0 itirilmiş hadisə iki ildən çox müddətdə, serverlərin yenidən başlaması da daxil

Cədvəllər və arxitektura ilə ətraflı təhlil - ClickHouse-dakı qeydiyyat jurnalı barədə keysdə.

Bu nəyə görə administratorlara deyil, biznese lazımdır

O tətbiqin ən maraqlı rəqəmi axtarış sürəti barədə deyil. Xətalar görünəndə onları düzəltməyə başladılar: yarım ildə prodda xətaların sayı yanvardaki 1 403 721-dən iyuldaki 60 097-yə, 23 dəfə azaldı. Kimsə kodu diqqətlə yazmağa başladığı üçün deyil, ölçülə bilən keyfiyyət göstəricisi yarandığı və onu görməmək utancverici olduğu üçün.

Həmin anbardan əvvəl həftələrlə həll olunmayan suallar bağlanır:

konkret sənədi kim və nə vaxt dəyişdi, sessiya və iş prosesinə qədər dəqiqliklə;
hadisə anında bazada nə baş verirdi, dəqiqə-dəqiqə;
hansı fon tapşırıqları müntəzəm düşür, hansı yarım ildə bir dəfə;
hər buraxılışdan sonra xətaların mənzərəsi necə dəyişdi.

Niyə ClickHouse, “daha bir SQL server” deyil

Qeydiyyat jurnalı yalnız yazılan və demək olar heç vaxt dəyişməyən eynitipli yazıların axınıdır. Belə yük üçün sütunlu anbar sətirli anbardan daha uyğundur: sıxılma bir neçə dəfə yüksəkdir, “gündəki bütün xətalar” tipli sorğular isə bütün sətir yerinə bir-iki sütun oxuyur.

Praktik fərq dərhal duyulur. Standart jurnal baxışının dəqiqələrlə donduğu həmin seçimdə ClickHouse saniyənin hissəsində cavab verir, bu da araşdırmaya hazırlaşmadan sadəcə soruşmağa imkan verir. Proqram təminatı açıqdır, lisenziya ödənişi yoxdur, analitika üçün avadanlıq döyüş serverindən ucuzdur.

Sizin tərəfdən nə lazımdır

ClickHouse üçün server ya virtual maşın (ölçüsünü baxış zamanı sayırıq, adətən bu 1C döyüş serverindən nəzərəçarpacaq dərəcədə sadədir), qeydiyyat jurnalları kataloqlarına giriş və sxemi razılaşdırmaq üçün administratorunuzun bir-iki saatı. Tətbiq zamanı döyüş bazaları dayanmır: biz jurnalları oxuyuruq, məlumatlara toxunmuruq.

Mövzu üzrə hazır işləmələr

Tətbiqdən əvvəl bazanın nədən ibarət olduğunu və serverdə necə qurulduğunu anlamaq faydalıdır:

1C bazasının həcmlər xəritəsi - bazada yeri nə tutur.
VBİS çek-apı - baza serverdə düzgün qurulub ya yox.

Nə əldə edirsiniz

Klasterin bütün bazalarının qeydiyyat jurnalını ClickHouse-a çıxaran konveyer, gecikmə saniyələr
Partisiyalama və sıxılma ilə saxlama sxemi: jurnallar üçün yer 6-7 dəfə azalır
Faylın saxlanmış mövqeyindən davam etmə: server və xidmətlərin yenidən başlaması hadisələri itirmir
Dashboardlar və hazır sorğular: xətalar, istifadəçi hərəkətləri, fon tapşırıqları, buraxılışların dinamikası
Xəta və anomaliyalar üzrə Telegram-a alertlər, hədləri sizin yükünüzə uyğunlaşdırılmış
Jurnal seçimlərinin AI-təhlili: şəxsiyyəti gizlədilmiş çıxarış modelə gedir, cavab əsl adlarla oxunur
Sənədləşdirmə və təhvil: anbar və icazələr sizinki qalır

Necə işləyirik

01
Bazalar parkına baxış

Hər baza üzrə hadisə axınını sayırıq, jurnalların indiki həcmi və boş yerə baxırıq. Nəticədə - saxlama sxemi və ClickHouse serveri üçün tələblər.
02
Anbarın qurulması

ClickHouse-u ayrı serverə ya VM-ə qoyuruq, cədvəlləri, partisiyalamanı və sizin tarix müddətinizə uyğun saxlama siyasətini hazırlayırıq.
03
Konveyer və davam etmə

Jurnalların oxunmasını və batchlarla axın yükləməsini quraşdırırıq. Yenidən başlamada davranışı yoxlayırıq: hadisələr itmir.
04
Sorğular, dashboardlar, alertlər

Sizin araşdırmalarınız üçün işlək sorğular dəstini, dashboardları və alert qaydalarını yığırıq. Hədləri real yükdə 2-4 həftə sınaqdan keçiririk.
05
Təhvil

Sənədləri, sxemi, sorğuları və icazələri veririk. Sonra istəyinizlə müşayiət edirik, süni bağlılıq olmadan.

1C sisteminiz üçün pulsuz ekspress-audit

1-2 gün ərzində bazanıza baxıb, məhsuldarlığın harada itdiyini tapacağıq və nə etmək lazım olduğunu deyəcəyik. Öhdəliksiz.

Pulsuz ekspress-audit əldə edin

Tez-tez verilən suallar

Döyüş bazalarını dayandırmaq lazımdırmı?

Xeyr. Biz qeydiyyat jurnalı fayllarını oxuyuruq və onları ayrıca analitik anbara axıdırıq. Baza məlumatları dəyişmir, reqlament işləri və buraxılışlar öz qaydasında gedir.

ClickHouse üçün nə qədər yer lazımdır?

Sizin hadisə axınınıza görə baxış zamanı sayırıq. Döyüş tətbiqindən oriyentir: 2,5 TB jurnal 380 QB-a qədər sıxıldı, yəni 6,7 dəfə. Analitika üçün adətən döyüş serverindən sadə server kifayət edir.

Keçmiş ayların tarixi ilə nə olacaq?

Disklərdə qalanların hamısını tətbiq zamanı bir keçidlə anbara yükləmək olar. Sonra tarix özü toplanır və disk imkan verdiyi qədər yaşayır: bizim tətbiqdə bu 7+ ay onlayndır.

Serveri ya xidməti yenidən başladanda hadisələr itirmi?

Xeyr. Konveyer jurnal faylındaki mövqeyi yadda saxlayır və yenidən başladıqdan sonra buraxılanı davam etdirir. İki ildən çox sənaye işində itki olmayıb.

Ödənişli lisenziyalar lazımdırmı?

Xeyr, ClickHouse - lisenziya ödənişi olmayan açıq proqram təminatıdır. Yalnız analitika üçün server və tətbiq üçün ödəyirsiniz.

Tətbiqdən sonra anbar kimə qalır?

Sizə: server sizindir, icazələr sizindir, sxem və sorğular sənədlərdə təsvir edilib. Bizim tərəfdən müşayiət istəyinizlə, podratçıya bağlılıq yoxdur.

Tətbiq nə qədər vaxt aparır?

Əsas konturu iki-üç həftəyə qaldırırıq, sonra real yükdə alert hədlərini 2-4 həftə sınaqdan keçiririk. Tarixə ilk sorğular ikinci həftədə işləyir.

Jurnal seçimlərini neyroşəbəkəyə vermək olarmı?

Bəli, və bu ayrıca ssenaridir: seçim çata göndərilməzdən əvvəl şəxsiyyəti gizlədilir, modelin cavabı isə geri deşifrə olunur, buna görə onu əsl adlar və məbləğlərlə oxuyursunuz. Mexanikanı tətbiq zamanı göstəririk.