Od platformy analitycznej do systemu operacyjnego dla AI: architektura Data Lakehouse w erze agentów AI

Architektura lakehouse została opracowana z myślą o połączeniu nieustrukturyzowanej skali jeziora danych ze zorganizowaną wydajnością hurtowni danych. Ta zmiana doprowadziła do ujednolicenia danych przedsiębiorstwa i stworzyła pierwsze prawdziwe „jedno źródło prawdziwych informacji”. Jednak w 2026 roku zakres misji uległ rozszerzeniu. Wraz z nadejściem ery sztucznej inteligencji opartej na agentach architektura lakehouse przestaje być jedynie repozytorium danych wykorzystywanym do raportowania i wspomagania decyzji. Staje się warstwą kontekstową o wysokiej wydajności, która wspiera autonomicznych agentów przedsiębiorstwa, umożliwiając im samodzielne i natychmiastowe działanie. Jego otwarta, elastyczna i niezawodna platforma została wzbogacona o funkcje interoperacyjności, przetwarzania danych w czasie rzeczywistym, bezpieczeństwa, zarządzania, przenoszenia danych między chmurami i do lokalnych środowisk oraz wbudowane automatyzacje oparte na sztucznej inteligencji dla wszystkich funkcji administracyjnych i operacyjnych. 

Firma Cloudera zauważa fundamentalną zmianę w sposobie, w jaki liderzy z listy Fortune 2000 postrzegają swoje zasoby danych. Presja wynika z konieczności efektywnego zasilania autonomicznych agentów sztucznej inteligencji. Wykorzystują platformę Cloudera o architekturze lakehouse do ujednolicenia danych ustrukturyzowanych, częściowo ustrukturyzowanych i nieustrukturyzowanych, co pozwala na dostrajanie modeli w czasie zbliżonym do rzeczywistego bez kopiowania danych i bez przetwarzania ETL oraz na wnioskowanie w czasie rzeczywistym. Architektura lakehouse umożliwia tworzenie potoków RAG, magazynów cech dla AI oraz potoków przetwarzania strumieniowego w czasie rzeczywistym, zapewniając mechanizmy zarządzania danymi, semantyczne warstwy kontekstowe i analizę operacyjną dla agentów przedsiębiorstw. 

Ewolucja architektury data lakehouse 

Interoperacyjność: jak uniknąć pułapki podejścia kładącego nacisk przede wszystkim na konsolidację

W erze sztucznej inteligencji dane stanowią największą przewagę konkurencyjną. Dlatego też to właśnie strategia dotycząca danych powinna określać, z jakiego narzędzia korzystasz oraz gdzie trenujesz i uruchamiasz swoją sztuczną inteligencję – a nie na odwrót. Jednak wielu dostawców nadal promuje model kładący nacisk przede wszystkim na konsolidację, który wymaga przeniesienia lub skopiowania danych do ich własnego środowiska zarządzania lub chmury, zanim będzie można z nich korzystać. Nie tylko powoduje to wzrost kosztów, złożoności i ryzyka związanego ze strategią dotyczącą danych, ale często wymaga również zrzeczenia się praw własności i kontroli nad danymi.

Twoja architektura danych typu lakehouse musi być otwarta, elastyczna, przenośna, interoperacyjna i adaptowalna, tak aby w przypadku zmiany strategii danych mogła dostosować się do nowych wymagań. W związku z tym otwarte formaty tabel (Apache Iceberg), otwarte katalogi (Apache Polaris), otwarte silniki zapytań, interfejsy REST API oraz dostęp federacyjny stają się nowym standardem i stanowią podstawowe elementy składowe modelu lakehouse firmy Cloudera. 

Hybrydowa platforma lakehouse uwzględniająca kontekst

Modele LLM są trenowane w oparciu o dane z Internetu. Nie znają się na Twojej branży. O skuteczności AI nie decyduje już jakość modelu. Zależy to od tego, jakie procesy biznesowe automatyzujesz oraz od dokładności danych kontekstowych, które przekazujesz modelom – zapisów z systemu ERP, transakcji finansowych, rejestrów łańcucha dostaw itp.

Architektura danych typu lakehouse firmy Cloudera zapewnia bezpieczną, dobrze chronioną warstwę dostosowaną do kontekstu dla Twoich agentów: 

• Kontekst 360°: ujednolicaj dane pochodzące z urządzeń brzegowych, centrów danych i chmur oraz udostępniaj je za pośrednictwem jednej warstwy zarządzania i nadzoru, która zapewnia pełny kontekst 360°.

• Dane multimodalne: przekształcają, oczyszczają i ujednolicają dane nieustrukturyzowane, takie jak dzienniki, filmy i obrazy, wzbogacając analizy i wnioskowanie o informacje zawarte w ustrukturyzowanych tabelach.

• Wspólna semantyka: połącz metadane techniczne, biznesowe i operacyjne, aby ułatwić pracownikom obsługi klienta wyszukiwanie, zrozumienie i wykorzystanie danych w odpowiednim kontekście biznesowym.

• Pełna identyfikowalność pochodzenia danych: Gdy agent AI podejmuje decyzję zakupową o wartości 1 mln USD, potrzebujesz pełnej ścieżki audytu, czyli możliwości wyjaśnienia, na jakiej podstawie dana decyzja została podjęta. Cloudera zapewnia tę możliwość wyjaśnienia dzięki kompleksowej identyfikowalności i automatycznemu śledzeniu pochodzenia danych – od czujnika brzegowego aż po końcowy wynik modelu. 

Rozwiązanie lakehouse firmy Cloudera zapewnia dostęp do kontekstu w czasie rzeczywistym w rozproszonych i heterogenicznych środowiskach, umożliwiając przedsiębiorstwom zachowanie kontroli nad danymi, modelami i regułami biznesowymi, a jednocześnie dostarczając systemom sztucznej inteligencji pełny kontekst.

Przenośna AI

Cloudera umożliwia analizę danych i wykorzystanie sztucznej inteligencji niezależnie od tego, gdzie się one znajdują. Niezależnie od tego, czy Twoje dane znajdują się w lokalnym magazynie obiektów, chmurze prywatnej, czy też w wielu chmurach publicznych, nasze rozwiązanie typu lakehouse zapewnia przenośną sztuczną inteligencję dzięki ujednoliconej architekturze typu zero-copy. Możesz tworzyć aplikacje w chmurze, a wnioskowanie przeprowadzać lokalnie – bez żadnych kosztów związanych z refaktoryzacją – dzięki czemu zachowasz kontrolę nad danymi i zapobiegniesz wyciekom własności intelektualnej. Dla globalnych instytucji finansowych, takich jak OCBC Bank, ta otwarta architektura pozwala na skalowanie możliwości w zakresie sztucznej inteligencji i uczenia maszynowego w całej grupie, przy jednoczesnym spełnianiu rygorystycznych regionalnych wymogów dotyczących lokalizacji danych i suwerenności danych.

Autonomiczna architektura lakehouse z funkcją samodzielnej optymalizacji

Systemy sztucznej inteligencji są bardzo wrażliwe na jakość, aktualność i spójność danych. Wraz z gwałtownym wzrostem ilości danych i liczby procesów opartych na sztucznej inteligencji ręczna optymalizacja staje się niemożliwa do utrzymania. Cloudera wdraża rozwiązania automatyzacyjne oparte na sztucznej inteligencji bezpośrednio w ramach platformy typu lakehouse w celu: 

• Dostęp do danych 

• Optymalizacja danych

• Kompaktowanie

• Ewolucja schematu

• Oznaczanie i klasyfikacja

• Optymalizacja obciążeń

• Monitorowanie jakości

• Egzekwowanie zasad nadzoru

• Pochodzenie

• Zarządzanie cyklem życia 

System nieustannie się samoczynnie optymalizuje, jednocześnie zmniejszając złożoność operacyjną dla zespołów zajmujących się danymi i sztuczną inteligencją. Korzystając z Cloudera Agent Studio, nasi klienci wdrażają agentów, którzy autonomicznie monitorują, przekształcają i przemieszczają dane zgodnie z założeniami biznesowymi.

Od przetwarzania wsadowego do ciągłego – architektura lakehouse obsługująca strumieniowe przesyłanie danych

Różnica między strumieniowym a wsadowym zanika. Aby wspierać przepływy pracy oparte na agentach, dane nie mogą być opóźnione o minuty czy godziny – muszą być dostępne w sposób ciągły. 

Cloudera Open Data Lakehouse pełni rolę platformy lakehouse obsługującej strumieniowe przesyłanie danych, traktując każdy punkt danych jako zdarzenie, co pozwala agentom AI reagować na zakłócenia w łańcuchu dostaw lub anomalie finansowe w ułamku sekundy od ich wystąpienia. Przetwarza te zdarzenia bezpośrednio w miejscu ich powstania i przeprowadza złożoną analizę danych strumieniowych przed ich przesłaniem do modelu lakehouse, co pozwala na podejmowanie decyzji niemal w czasie rzeczywistym. Przekazuje również wstępnie przetworzone dane strumieniowe do agentów na etapie wnioskowania, umożliwiając podejmowanie działań w czasie rzeczywistym. Platforma lakehouse oferuje również funkcje udostępniania danych i federacji, dzięki czemu dane z innych źródeł mogą być wykorzystywane z minimalnym opóźnieniem, bez konieczności ich niepotrzebnego przenoszenia lub przekształcania. 

Kontinuum od urządzeń brzegowych po sztuczną inteligencję: wnioskowanie na urządzeniach brzegowych rozszerza architekturę lakehouse poza centrum danych

Architektura lakehouse nie stanowi pojedynczego, scentralizowanego monolitu. Wraz z rosnącą popularnością Internetu rzeczy (IoT), inteligentnych fabryk i aplikacji mobilnych wnioskowanie brzegowe zyskało kluczowe znaczenie. Cloudera rozszerza architekturę lakehouse na zewnątrz, umożliwiając analizę i podejmowanie działań tam, gdzie dane są generowane – na urządzeniach brzegowych – przy jednoczesnej synchronizacji wyników z centralnym węzłem. Firmie Navistar: udało się obniżyć koszty konserwacji o 30% dzięki przetwarzaniu w czasie rzeczywistym danych z czujników pochodzących z tysięcy podłączonych do sieci ciężarówek poprzez automatyczne uruchamianie działań konserwacji zapobiegawczej.

Połączenie koncepcji data fabric i lakehouse

W firmie Cloudera obserwujemy zbliżanie się architektur lakehouse i fabric. Podczas gdy lakehouse ujednolica dane, fabric aktywuje metadane (automatyczne gromadzenie podczas wprowadzania danych: pochodzenie, oznaczenia wrażliwości i inne). Wszystko to razem pozwala zautomatyzować procesy wykrywania, integracji i zarządzania danymi. Ułatwia to dostęp do danych z dowolnego miejsca dzięki rozwiązaniom typu zero-copy, zero-ETL oraz zabezpieczeniom eliminującym nadmiarowość.

Od konwersacyjnej sztucznej inteligencji do sztucznej inteligencji, która przewiduje i działa

Pierwsza fala rozwoju sztucznej inteligencji skupiała się na rozmowie. Kolejna dotyczy agentów. Zwycięzcami tej epoki nie będą ci, którzy po prostu „przechowują” najwięcej danych; będą to ci, którzy potrafią zapewnić autonomicznym systemom wiarygodny, nieprzerwany i wielomodalny kontekst, umożliwiający formułowanie jasnych zaleceń i podejmowanie decyzji. Zapewniając agentom AI kontrolowany, federacyjny dostęp do wszelkich danych, firma Cloudera pomaga największym przedsiębiorstwom na świecie przejść od „rozmów” do „działania”.

Niezależnie od tego, czy Twoje dane znajdują się w centrum danych, w chmurze czy na urządzeniach brzegowych – Cloudera Open Data Lakehouse pełni funkcję hybrydowej architektury lakehouse, zapewniając gotowość na przyszłość opartą na agentach. 

Obejrzyj film, aby dowiedzieć się, jak działa Cloudera Open Data Lakehouse.