Mazmunga o'tish
Tez Base

1C qayd jurnali ClickHouse'da

Yuklamasi yuqori bazada standart qayd jurnali ishlamay qoladi: fayllar kunda o'nlab gigabaytga o'sadi, har qanday filtrda ko'rish qotib qoladi, ikki haftadan chuqur tarix mavjud emas. Biz jurnalni ClickHouse'ga real vaqtda quyamiz - kunlik xatolarni qidirish 0,11 sekund oladi, tarix 7+ oy yashaydi, jurnallar uchun joy esa 6,7 barobar qisqaradi.

WhatsApp orqali yozish Bepul ekspress-audit olish

700 000 ₸ dan narxi · bitta 1C klasteriga to'liq joriy etish, soliqlarsiz yakuniy narx - bazalar parkini ko'rgandan keyin

ClickHouse

Ishlaymiz: ClickHouse

ClickHouse, the ClickHouse logo, and related marks are trademarks or registered trademarks of ClickHouse, Inc. or its affiliates.

Tanish muammolarmi?

Jurnal bor, lekin foydalanish mumkin emas

Konfiguratordagi ko'rish minutlab ochiladi va har qanday filtrda qotib qoladi. "Bu foydalanuvchi bir oy oldin nima qildi" degan savolga javob berish amalda imkonsiz.

Jurnallar jangovar server disklarini yeydi

Kunda 150-194 mln hodisa kunda o'nlab gigabaytga aylanadi. Ikki haftadan chuqur tarixni saqlash - jangovar disklarni terabaytlar bilan to'ldirish degani.

Reliz'dan keyin yaxshi bo'ldimi yoki yomonmi - tushunarsiz

Prodda xatolar sonini hech kim sanamaydi, chunki sanaydigan vosita yo'q. Reliz sifati haqida gap sezgi bo'yicha boradi.

Xatolar haqida foydalanuvchilardan bilinadi

Fon vazifasidagi xato kimdir qo'ng'iroq qilguncha bir kun turadi. Jurnalda u bor, lekin topishga hech kimning vaqti yo'q.

Natijada nima bo’ladi

Jurnal “har holda bo’lsin” degan arxiv bo’lishdan to’xtab, ishchi vositaga aylanadi. Quyidagi raqamlar - 2024 yil aprelidan buyon bitta klasterdagi uchta ishlab chiqarish bazasida (asosiy hisob bazasi va ikki ombor) ishlayotgan jangovar joriy etishdan.

  • 35+ mlrd hodisa uchta baza bo’yicha onlayn tarix
  • 0,11 sekund - oxirgi kundagi barcha xatolarni qidirish, bu 158,5 mln qator
  • 61 sekund - 30,5 mlrd qatordagi butun tarix bo’yicha tahlil
  • 6,7 barobar siqish: 2,5 TB jurnal 380 GB’ga aylandi
  • sekundda 11 300 hodisa oqim cho’qqisida, yo’qotishsiz
  • 0 yo’qolgan hodisa ikki yildan ortiq vaqtda, serverlarni qayta ishga tushirish bilan birga

Jadvallar va arxitektura bilan batafsil tahlil - ClickHouse’dagi qayd jurnali haqidagi keysda.

Bu nega administratorlarga emas, biznesga kerak

O’sha joriy etishning eng qiziq raqami qidiruv tezligi haqida emas. Xatolar ko’rinib qolganda, ularni tuzata boshladilar: yarim yilda prodda xatolar soni yanvardagi 1 403 721 dan iyuldagi 60 097 ga, 23 barobar kamaydi. Kimdir kodni ehtiyotkorlik bilan yoza boshlaganidan emas, o’lchanadigan sifat ko’rsatkichi paydo bo’lib, uni e’tiborsiz qoldirish uyat bo’lganidan.

Xuddi shu ombordan avval haftalab turgan savollar yopiladi:

  • aniq hujjatni kim va qachon o’zgartirgan, sessiya va ishchi jarayonga qadar aniqlik bilan;
  • hodisa paytida bazada nima bo’lgan, daqiqama-daqiqa;
  • qaysi fon vazifalari doimiy yiqiladi, qaysi biri yarim yilda bir marta;
  • har bir reliz’dan keyin xatolar manzarasi qanday o’zgargan.

ClickHouse nega, “yana bitta SQL server” emas

Qayd jurnali - faqat yoziladigan va deyarli hech qachon o’zgarmaydigan bir xil yozuvlar oqimi. Bunday yuklamaga ustunli ombor qatorli ombordan yaxshiroq to’g’ri keladi: siqish bir necha barobar yuqori, “kunlik barcha xatolar” ko’rinishidagi tipik so’rovlar esa butun qator o’rniga bir-ikki ustunni o’qiydi.

Amaliy farq darhol sezilади. Standart jurnal ko’rish minutlab qotib turgan o’sha namunada ClickHouse sekund ulushida javob beradi, va bu tekshiruvga tayyorlanmasdan, shunchaki so’rash imkonini beradi. Dasturiy ta’minot ochiq, litsenziya to’lovlari yo’q, tahlil uchun temir jangovaridan arzon.

Siz tomondan nima kerak

ClickHouse uchun server yoki virtual mashina (o’lchamini ko’rish paytida sanaymiz, odatda bu 1C jangovar serveridan sezilarli oddiy), qayd jurnallari kataloglariga ruxsat va sxemani kelishish uchun administratoringizning bir-ikki soati. Joriy etish paytida jangovar bazalar to’xtamaydi: biz jurnallarni o’qiymiz, ma’lumotlarga tegmaymiz.

Mavzu bo’yicha tayyor ishlov berishlar

Joriy etishdan oldin baza nimadan tashkil topganini va serverda qanday o’rnatilganini tushunish foydali:

Siz nima olasiz

  • Klaster barcha bazalarining qayd jurnalini ClickHouse'ga chiqarish konveyeri, kechikish sekundlar
  • Partitsiyalash va siqish bilan saqlash sxemasi: jurnallar uchun joy 6-7 barobar kamayadi
  • Faylning saqlangan pozitsiyasidan davom etish: server va xizmatlarni qayta ishga tushirish hodisalarni yo'qotmaydi
  • Dashbordlar va tayyor so'rovlar: xatolar, foydalanuvchi harakatlari, fon vazifalari, relizlar dinamikasi
  • Xatolar va anomaliyalar bo'yicha Telegram'ga alertlar, chegaralari sizning yuklamangizga moslangan
  • Jurnal namunalarini AI-tahlili: shaxsi yashirilgan chiqarish modelga ketadi, javob haqiqiy ismlar bilan o'qiladi
  • Hujjatlar va topshirish: ombor va ruxsatlar sizniki bo'lib qoladi

Biz qanday ishlaymiz

  1. 01

    Bazalar parkini ko'rish

    Har bir baza bo'yicha hodisa oqimini sanaymiz, jurnallarning hozirgi hajmi va bo'sh joyni ko'ramiz. Natijada - saqlash sxemasi va ClickHouse serveri uchun talablar.

  2. 02

    Omborni joylashtirish

    ClickHouse'ni alohida serverga yoki VM'ga o'rnatamiz, jadvallarni, partitsiyalashni va sizning tarix muddatingiz uchun saqlash siyosatini tayyorlaymiz.

  3. 03

    Konveyer va davom etish

    Jurnallarni o'qishni va batchlar bilan oqimli quyishni sozlaymiz. Qayta ishga tushirishdagi xatti-harakatni tekshiramiz: hodisalar yo'qolmaydi.

  4. 04

    So'rovlar, dashbordlar, alertlar

    Sizning tekshiruvlaringiz uchun ishchi so'rovlar to'plamini, dashbordlarni va alert qoidalarini yig'amiz. Chegaralarni real yuklamada 2-4 hafta sinab ko'ramiz.

  5. 05

    Topshirish

    Hujjatlarni, sxemani, so'rovlarni va ruxsatlarni beramiz. Keyin xohishingizga ko'ra qo'llab-quvvatlaymiz, sun'iy bog'liqliksiz.

1C tizimingiz uchun bepul ekspress-audit

1-2 kun ichida bazangizni ko'rib chiqamiz, unumdorlik qayerda yo'qolayotganini topamiz va nima qilish kerakligini aytamiz. Majburiyatsiz.

Bepul ekspress-audit olish

Ko'p so'raladigan savollar

Jangovar bazalarni to'xtatish kerakmi?

Yo'q. Biz qayd jurnali fayllarini o'qiymiz va ularni alohida tahliliy omborga quyamiz. Baza ma'lumotlari o'zgarmaydi, reglament ishlari va relizlar o'z tartibida ketadi.

ClickHouse uchun qancha joy kerak?

Sizning hodisa oqimingiz bo'yicha ko'rish paytida sanaymiz. Jangovar joriy etishdan mo'ljal: 2,5 TB jurnal 380 GB gacha siqildi, ya'ni 6,7 barobar. Tahlil uchun odatda jangovaridan oddiyroq server yetadi.

O'tgan oylardagi tarix bilan nima bo'ladi?

Disklarda qolganning hammasini joriy etish paytida bir o'tishda omborga quyish mumkin. Keyin tarix o'zi yig'iladi va disk imkon berguncha yashaydi: bizning joriy etishda bu 7+ oy onlayn.

Serverni yoki xizmatni qayta ishga tushirganda hodisalar yo'qoladimi?

Yo'q. Konveyer jurnal faylidagi pozitsiyani eslab qoladi va qayta ishga tushgandan keyin o'tkazib yuborilganini davom ettiradi. Ikki yildan ortiq sanoat ishida yo'qotish bo'lmadi.

Pullik litsenziyalar kerakmi?

Yo'q, ClickHouse - litsenziya to'lovlarisiz ochiq dasturiy ta'minot. Faqat tahlil uchun server va joriy etish uchun to'laysiz.

Joriy etishdan keyin ombor kimga qoladi?

Sizga: server sizniki, ruxsatlar sizniki, sxema va so'rovlar hujjatlarda tasvirlangan. Bizning tomondan qo'llab-quvvatlash xohishingizga ko'ra, pudratchiga bog'liqlik yo'q.

Joriy etish qancha vaqt oladi?

Asosiy konturni ikki-uch haftada ko'taramiz, keyin real yuklamada alert chegaralarini 2-4 hafta sinab ko'ramiz. Tarixga birinchi so'rovlar ikkinchi haftada ishlaydi.

Jurnal namunalarini neyrotarmoqqa berish mumkinmi?

Ha, va bu alohida stsenariy: namuna chatga yuborishdan oldin shaxsi yashiriladi, model javobi esa qayta shifrlanadi, shuning uchun uni haqiqiy ismlar va summalar bilan o'qiysiz. Mexanikani joriy etishda ko'rsatamiz.

Vazifani muhokama qilamiz

Eng tezi WhatsApp: vazifa haqida bir-ikki qator yozing, ish kuni davomida javob beramiz.

+7 707 347 88 04 [email protected]

Arizani forma orqali qoldirish qulayroq

O'xshash xizmatlar