Osiąganie szczytowej wydajności: uzyskiwanie 13-krotnie szybszych zapytań dzięki narzędziu Cloudera Lakehouse Optimizer
Działania firmy Cloudera na rzecz otwartej architektury data lakehouse zapewniają klientom elastyczność w korzystaniu z dowolnego silnika lub narzędzia, niezależnie od tego, czy pochodzi ono od Cloudera, innych dostawców, czy jest open source. Rozumiemy złożoność nowoczesnych ekosystemów danych, a nasze neutralne względem silnika podejście zapewnia płynną współpracę między zespołami uzyskującymi dostęp do danych w celu tworzenia aplikacji analitycznych lub sztucznej inteligencji oraz agentów. Nieustannie ulepszamy naszą architekturę lakehouse o innowacyjne funkcje pod kątem szybkości, bezpieczeństwa, automatyzacji i interoperacyjności, zapewniając, że wszystkie silniki działają współbieżnie i wydajnie oraz mają dostęp do wszystkich funkcji i optymalizacji.
Narzędzie Cloudera Lakehouse Optimizer zapewnia predykcyjne i inteligentne optymalizacje, automatyzując konserwację tabel Apache Iceberg i gwarantując, że otwarta architektura data lakehouse pozostaje wydajna, skalowalna i efektywna kosztowo. Ta usługa umożliwia zespołom danych korzystanie z opłacalnej architektury lakehouse dla wszystkich ich obciążeń związanych ze sztuczną inteligencją i analityką.
Dowodem jest wydajność: 13-krotnie szybsze zapytania i obniżenie kosztów składowania o 36%!
Wiemy, że wydajność i opłacalność są kluczowe, dlatego udostępniamy przekonujące wyniki naszych wewnętrznych badań porównawczych. Testowaliśmy narzędzie Cloudera Lakehouse Optimizer przy użyciu 7 tabel TPC-DS (107 GB danych), wykonując zapytania TPC-DS przed optymalizacją i po niej. Nawet po uwzględnieniu buforowania i usunięciu wartości odstających wyniki są istotne:
13-krotnie szybsze zapytania: nasze dane wskazują na średnio 13-krotną poprawę czasu zapytania, co oznacza skrócenie średniego czasu zapytania z 24 sekund do zaledwie 1,8 sekundy po optymalizacji!
Obniżenie kosztów składowania o 36%: narzędzie Cloudera Lakehouse Optimizer zapewnia również znaczne oszczędności dzięki optymalizacji przestrzeni dyskowej. Nasze badania porównawcze ujawniły zmniejszenie rozmiaru zbioru danych o 36% — ze 107 GB do 68 GB. Przekłada się to bezpośrednio na niższy całkowity koszt posiadania (TCO).
Te wyniki pokazują, jak narzędzie Cloudera Lakehouse Optimizer poprawia wydajność zapytań dla zastosowań sztucznej inteligencji, raportowania i analiz na dalszych etapach, a także znacznie obniża koszty składowania.
Co wyróżnia narzędzie Cloudera Lakehouse Optimizer?
Niezależnie od tego, czy jesteś liderem platformy skupiającym się na kontroli kosztów, architektem danych projektującym skalowalne rozwiązania, czy inżynierem danych usprawniającym procesy, narzędzie Cloudera Lakehouse Optimizer jest stworzone dla Ciebie. Zawiera szablony zasad i ustawienia domyślne, umożliwiając natychmiastową optymalizację bez rozbudowanej konfiguracji. Dla konkretnych wymagań graficzny interfejs użytkownika (GUI) i interfejs programowania aplikacji (API) oferują najlepsze w swojej klasie mechanizmy kontroli.
Zobaczmy, jak narzędzie Cloudera Lakehouse Optimizer wyjątkowo obsługuje optymalizację tabel, aby zapewnić te korzyści w zakresie wydajności i składowania:
Inteligentne zasady: narzędzie Cloudera Lakehouse Optimizer ocenia, czy tabela wymaga optymalizacji, zapewniając, że są wykonywane tylko niezbędne działania, i w razie potrzeby autonomicznie przeprowadza optymalizacje. Oferuje rozbudowane i konfigurowalne argumenty działań wobec wszystkich optymalizacji Iceberg, obejmujące duży zestaw argumentów umożliwiających maksymalną wydajność.
Niezależność od silnika i magazynu: po zoptymalizowaniu tabel przez narzędzie Lakehouse Optimizer każdy silnik uzyskujący dostęp do danych z architektury lakehouse dostrzeże dokładnie takie same usprawnienia w wydajności zapytań, niezależnie od tego, czy te silniki są własnością Cloudera, są typu open source czy pochodzą od innego dostawcy. Te optymalizacje dotyczą również danych przechowywanych w dowolnym magazynie obiektów w chmurze lub lokalnych magazynach obiektów.
Niezrównany zakres i kontrola: narzędzie Cloudera Lakehouse Optimizer umożliwia szczegółową kontrolę nad stosowaniem zasad. Można tworzyć i stosować zasady na poziomie tabeli, przestrzeni nazw, a nawet całego katalogu, co zapewnia elastyczne i skalowalne zarządzanie w miarę ewolucji architektury lakehouse i umożliwia definiowanie optymalizacji w odniesieniu do niemal wszystkich argumentów, pozwalając na najlepszą definicję zasad dla tabel. Ten szeroki zakres jest znaczącym wyróżnikiem w porównaniu z innymi rozwiązaniami o bardziej ograniczonym stosowaniu zasad. Optymalizator zawiera również dedykowany graficzny interfejs użytkownika umożliwiający wszystkim użytkownikom wygodne konfigurowanie i monitorowanie optymalizacji. Na potrzeby kontroli programistycznej dostępny jest również rozbudowany dostęp do interfejsu API / wiersza polecenia (CLI) zapewniający wszystkim łatwość obsługi. Oferuje on również niezrównaną elastyczność i kontrolę nad tym, kiedy i jak są uruchamiane optymalizacje:
- Inteligentne planowanie na podstawie zdarzeń: automatycznie wyzwala optymalizacje, gdy wystąpi zdarzenie dotyczące tabeli, takie jak aktualizacja, wstawienie lub usunięcie.
- Planowanie na podstawie czasu: umożliwia planowanie optymalizacji w ustalonych, cyklicznych odstępach czasu przy użyciu harmonogramu podobnego do cron — funkcji niedostępnej w narzędziach AWS S3 Table Maintenance ani Databricks Predictive Optimizer.
- Ręczne wykonywania: wyzwala ręczne wykonywanie zasad, umożliwiając optymalizację na żądanie.
Wszystko gotowe na transformację architektury lakehouse?
Poznaj moc zautomatyzowanej, inteligentnej optymalizacji tabel Iceberg i osiągaj znaczące korzyści w zakresie wydajności i kosztów już dziś.
Dowiedz się więcej o rozwiązaniu Cloudera Lakehouse Optimizer, oglądając demo.
Skorzystaj z naszej specjalnej oferty promocyjnej: wszystkie dane przetwarzane za pośrednictwem narzędzia Cloudera Lakehouse Optimizer będą bezpłatne do 26 kwietnia 2026 roku! Mimo że jest niewielki koszt podstawowy, ta promocja umożliwia zapoznanie się z funkcjami narzędzia Cloudera Lakehouse Optimizer bez przejmowania się opłatami za przetwarzanie danych. Co więcej, za pomocą Cloudera Management Console możesz ustawić limity zużycia, aby mieć pewność, że koszty nigdy nie przekroczą oczekiwań.