1С тіркеу журналы ClickHouse-та

Жүктемесі жоғары базада стандартты тіркеу журналы істен шығады: файлдар күніне ондаған гигабайтқа өседі, кез келген сүзгіде қарау тоқтап қалады, екі аптадан терең тарих қолжетімсіз. Біз журналды ClickHouse-қа нақты уақытта құйамыз - тәуліктегі қателерді іздеу 0,11 секунд алады, тарих 7+ ай сақталады, ал журналдарға кететін орын 6,7 есе қысқарады.

WhatsApp-та жазу Тегін экспресс-аудит алу

700 000 ₸-ден құны · бір 1С кластеріне толық ендіру, салықтарсыз соңғы құны - базалар паркін қараудан кейін

Жұмыс істейміз: ClickHouse

ClickHouse, the ClickHouse logo, and related marks are trademarks or registered trademarks of ClickHouse, Inc. or its affiliates.

Таныс мәселелер ме?

Журнал бар, бірақ пайдалану мүмкін емес

Конфигуратордағы қарау минуттап ашылады және кез келген сүзгіде тоқтап қалады. "Бұл пайдаланушы бір ай бұрын не істеді" деген сұраққа жауап беру мүмкін емес.

Журналдар жауынгерлік сервердің дискілерін жейді

Тәулігіне 150-194 млн оқиға күніне ондаған гигабайтқа айналады. Екі аптадан терең тарихты ұстау - жауынгерлік дискілерді терабайттармен толтыру дегені.

Шығарылымнан кейін жақсарды ма, нашарлады ма - түсініксіз

Продтағы қателер санын ешкім санамайды, өйткені санайтын құрал жоқ. Шығарылым сапасы туралы әңгіме сезім бойынша жүреді.

Қателер туралы пайдаланушылардан біледі

Фондық тапсырмадағы қате біреу қоңырау шалғанша тәулік бойы тұрады. Журналда ол бар, бірақ табуға ешкімнің уақыты жоқ.

Шығуында не болады

Журнал “әйтеуір болсын” деген мұрағат болудан қалып, жұмыс құралына айналады. Төмендегі сандар - 2024 жылдың сәуірінен бері бір кластердегі үш өнімдік базада (негізгі есеп базасы және екі қойма) жұмыс істеп келе жатқан жауынгерлік ендіруден.

35+ млрд оқиға үш база бойынша онлайн тарих
0,11 секунд - соңғы тәуліктегі барлық қателерді іздеу, бұл 158,5 млн жол
61 секунд - 30,5 млрд жолдағы барлық тарих бойынша аналитика
6,7 есе сығу: 2,5 ТБ журнал 380 ГБ-қа айналды
секундына 11 300 оқиға ағынның шыңында, жоғалтусыз
0 жоғалған оқиға екі жылдан астам уақытта, серверлерді қайта қосуды қоса

Кестелермен және архитектурамен толық талдау - ClickHouse-тағы тіркеу журналы туралы кейсте.

Бұл әкімшілерге емес, бизнеске неге керек

Сол ендірудің ең қызық саны іздеу жылдамдығы туралы емес. Қателер көрінген кезде оларды түзете бастады: жарты жылда продтағы қателер саны қаңтардағы 1 403 721-ден шілдедегі 60 097-ге дейін, 23 есе төмендеді. Біреу кодты ұқыпты жаза бастағаннан емес, өлшенетін сапа көрсеткіші пайда болып, оны елемеу ұят болғаннан.

Сол қоймадан бұрын апталап тұрған сұрақтар жабылады:

нақты құжатты кім және қашан өзгертті, сеанс пен жұмыс процесіне дейінгі дәлдікпен;
инцидент кезінде базада не болды, минут сайын;
қандай фондық тапсырмалар үнемі құлайды, қайсысы жарты жылда бір рет;
әр шығарылымнан кейін қателер картинасы қалай өзгерді.

ClickHouse неге, “тағы бір SQL сервері” емес

Тіркеу журналы - тек жазылатын және ешқашан өзгермейтін біртекті жазбалар ағыны. Мұндай жүктемеге бағаналы қойма жолдық қоймадан жақсы келеді: сығу бірнеше есе жоғары, ал “тәуліктегі барлық қателер” түріндегі әдеттегі сұраулар бүкіл жолдың орнына бір-екі бағанды оқиды.

Практикалық айырмашылық бірден сезіледі. Стандартты журнал қарау минуттап тұрған сол таңдамада ClickHouse секундтың үлесінде жауап береді, және бұл тергеуге дайындалмай, жай сұрауға мүмкіндік береді. Бағдарламалық қамтам ашық, лицензиялық төлемдер жоқ, аналитикаға арналған темір жауынгерліктен арзан.

Сіз тарапынан не керек

ClickHouse астына сервер немесе виртуалды машина (өлшемін қарау кезінде санаймыз, әдетте бұл 1С жауынгерлік серверінен айтарлықтай қарапайым), тіркеу журналдарының каталогтарына қол жеткізу және схеманы келісуге әкімшіңіздің бір-екі сағаты. Ендіру кезінде жауынгерлік базалар тоқтамайды: біз журналдарды оқимыз, деректерге тимейміз.

Тақырып бойынша дайын өңдеулер

Ендіру алдында база неден тұратынын және серверде қалай орнатылғанын түсіну пайдалы:

1С базасының көлемдер картасы - базада орынды не алады.
ДҚБЖ чек-апы - база серверде дұрыс орнатылған ба.

Сіз не аласыз

Кластердің барлық базаларының тіркеу журналын ClickHouse-қа шығару конвейері, кешігуі секундтар
Партициялау және сығумен сақтау схемасы: журналдарға кететін орын 6-7 есе азаяды
Файлдың сақталған позициясынан жалғастыру: сервер мен қызметтерді қайта қосу оқиғаларды жоғалтпайды
Дашбордтар мен дайын сұраулар: қателер, пайдаланушы әрекеттері, фондық тапсырмалар, шығарылымдар динамикасы
Қателер мен ауытқулар бойынша Telegram-ға алерттер, шектері сіздің жүктемеңізге бапталған
Журнал таңдамаларын AI-талдау: жасырынған шығарылым модельге кетеді, жауап нақты аттармен оқылады
Құжаттама және тапсыру: қойма мен рұқсаттар сіздікі болып қалады

Біз қалай жұмыс істейміз

01
Базалар паркін қарау

Әр база бойынша оқиға ағынын санаймыз, журналдардың қазіргі көлемі мен бос орынды қараймыз. Шығуында - сақтау схемасы және ClickHouse серверіне талаптар.
02
Қойманы орналастыру

ClickHouse-ты жеке серверге немесе ВМ-ға қоямыз, кестелерді, партициялауды және сіздің тарих мерзіміңізге сақтау саясатын дайындаймыз.
03
Конвейер және жалғастыру

Журналдарды оқуды және батчтармен ағынды құюды баптаймыз. Қайта қосу кезіндегі мінез-құлықты тексеремiз: оқиғалар жоғалмайды.
04
Сұраулар, дашбордтар, алерттер

Сіздің тергеулеріңізге жұмыс сұрауларының жинағын, дашбордтарды және алерт ережелерін жинаймыз. Шектерді нақты жүктемеде 2-4 апта тексереміз.
05
Тапсыру

Құжаттаманы, схеманы, сұрауларды және рұқсаттарды береміз. Әрі қарай қалауыңыз бойынша қолдаймыз, жасанды байланыссыз.

1С жүйеңізге тегін экспресс-аудит

1-2 күнде базаңызды қарап, өнімділік қайда жоғалып жатқанын табамыз және не істеу керегін айтамыз. Міндеттемесіз.

Тегін экспресс-аудит алу

Жиі қойылатын сұрақтар

Жауынгерлік базаларды тоқтату керек пе?

Жоқ. Біз тіркеу журналының файлдарын оқып, оларды бөлек аналитикалық қоймаға құямыз. База деректері өзгермейді, регламенттік жұмыстар мен шығарылымдар өз тәртібімен жүреді.

ClickHouse астына қанша орын керек?

Сіздің оқиға ағыныңыз бойынша қарау кезінде санаймыз. Жауынгерлік ендіруден бағдар: 2,5 ТБ журнал 380 ГБ-қа дейін сығылды, яғни 6,7 есе. Аналитикаға әдетте жауынгерліктен қарапайым сервер жетеді.

Өткен айлардағы тарихпен не болады?

Дискілерде қалғанның бәрін ендіру кезінде бір өтуде қоймаға құюға болады. Әрі қарай тарих өзі жиналады және диск мүмкіндік бергенше сақталады: біздің ендіруде бұл 7+ ай онлайн.

Серверді немесе қызметті қайта қосқанда оқиғалар жоғала ма?

Жоқ. Конвейер журнал файлындағы позицияны есте сақтайды және қайта қосылғаннан кейін өткізіп алғанын жалғастырады. Екі жылдан астам өнеркәсіптік жұмыста жоғалту болған жоқ.

Ақылы лицензиялар керек пе?

Жоқ, ClickHouse - лицензиялық төлемдерсіз ашық бағдарламалық қамтам. Тек аналитикаға арналған сервер мен ендіру үшін төлейсіз.

Ендіруден кейін қойма кімге қалады?

Сізге: сервер сіздікі, рұқсаттар сіздікі, схема мен сұраулар құжаттамада сипатталған. Біздің тараптан қолдау - қалауыңыз бойынша, мердігерге байлау жоқ.

Ендіру қанша уақыт алады?

Негізгі контурды екі-үш аптада көтереміз, содан кейін нақты жүктемеде алерт шектерін 2-4 апта пысықтаймыз. Тарихқа алғашқы сұраулар екінші аптада жұмыс істейді.

Журнал таңдамаларын нейрожеліге беруге бола ма?

Иә, бұл жеке сценарий: таңдама чатқа жіберер алдында жасырынады, ал модельдің жауабы кері шифрланады, сондықтан оны нақты аттармен және сомалармен оқисыз. Механиканы ендіру кезінде көрсетеміз.