Wypełnianie luki między obliczeniami o wysokiej wydajności a suwerenną sztuczną inteligencją: część trzecia z trzech
Ten wpis na blogu stanowi ostatnią część trzyczęściowej serii: w części pierwszej omówiono podstawy obliczeń o wysokiej wydajności (HPC), a w części drugiej – znaczenie suwerennej platformy danych typu lakehouse.
Przewaga, jaką oferuje Cloudera w dziedzinie HPC i suwerennej sztucznej inteligencji
Chociaż samo rozwiązanie typu data lakehouse nie obsługuje obliczeń HPC – symulacje HPC wymagają bowiem zupełnie innej platformy technologicznej – stanowi ono idealne uzupełnienie strategii skoncentrowanej na modelu ROM, zapewniając niezbędne funkcje (ustrukturyzowane MLOps, obsługę eksperymentów, ekonomiczną archiwizację danych, uproszczony dostęp, zestaw narzędzi do współpracy i wiele innych).
Cloudera w wyjątkowy sposób wypełnia lukę między ogromnymi zbiorami wyspecjalizowanych danych fizycznych (HPC) a elastycznymi wymaganiami współczesnego szkolenia modeli sztucznej inteligencji (MLOps). Dzięki zapewnieniu architektury niezależnej od chmury i dostosowanej do potrzeb suwerenności gwarantuje ona zgodność z przepisami oraz oferuje przedsiębiorstwom bezpieczną i realną ścieżkę wdrożenia pamięci ROM.
Cloudera wspiera tę konwergencję dzięki następującym konkretnym funkcjom:
1. Obsługa danych na dużą skalę przy zachowaniu suwerenności
Wyzwanie: jak wspomniano powyżej, przechowywanie i zarządzanie petabajtami historycznych migawek modelu pełnego zamówienia (FOM) w tradycyjnych systemach pamięci masowej jest często kosztowne i skomplikowane. Inżynierowie potrzebują jednak również sposobu na pozyskiwanie, przetwarzanie i archiwizowanie tych ogromnych zbiorów danych przy zachowaniu ścisłych zasad zarządzania, a jednocześnie utrzymaniu „suwerenności operacyjnej”, co gwarantuje, że dane nigdy nie opuszczą określonej jurysdykcji.
Rozwiązanie Cloudera:
Cloudera DataFlow: Cloudera DataFlow, jako uniwersalny mechanizm pobierania danych, umożliwia inżynierom tworzenie wielomodalnych potoków danych bez konieczności pisania kodu, w środowisku sprzyjającym współpracy. Może przetwarzać surowe pliki rozwiązań (dzienniki CFD/FEA), przekształcać dane nieustrukturyzowane w elementy ustrukturyzowane oraz przechowywać je bezpośrednio w magazynie obiektowym data lakehouse (Cloudera Object Storage oparty na Apache Ozone), aby zapewnić łatwy dostęp w razie potrzeby podczas trenowania lub ponownego trenowania modeli ROM.
Pochodzenie i audyt: co najważniejsze, DataFlow oferuje wbudowane funkcje śledzenia pochodzenia danych i ich historii. Dzięki temu każda „funkcja” wykorzystywana do trenowania modelu ROM może zostać przypisana do swojego oryginalnego pliku źródłowego, co zapewnia ścieżkę audytu wymaganą w inżynierii systemów o znaczeniu krytycznym dla bezpieczeństwa.
Cloudera SDX zapewnia więc ujednolicony punkt projektowania i egzekwowania zasad autoryzacji dla wszystkich usług związanych z danymi i sztuczną inteligencją, umożliwiając w ten sposób kompleksowe zarządzanie dostępem do poufnych informacji zawartych w zbiorach danych FOM i funkcjach ROM.
2. Precyzja i ponowne wykorzystanie: śledzenie eksperymentów z wykorzystaniem ML w zespole
Wyzwanie: Opracowywanie dokładnych modeli ROM wymaga setek iteracji. Bez scentralizowanego systemu ewidencyjnego zespoły badawczo-rozwojowe borykają się z problemem chaosu w wersjach, tracąc orientację, które hiperparametry lub zbiory danych przyniosły najlepsze wyniki.
Rozwiązanie Cloudera:
Cloudera AI Workbench: usługa ta zapewnia środowisko do współpracy oparte na bezpiecznych, otwartych platformach typu „Notebooks-as-a-Service” (Jupyter). Aby jeszcze bardziej zwiększyć wydajność pracy programistów, środowisko pracy zapewnia elastyczność w zakresie korzystania z preferowanych edytorów innych producentów, takich jak VS Code, PyCharm i RStudio, zarówno w przeglądarce, jak i w postaci lokalnych środowisk IDE podłączonych do zasobów obliczeniowych środowiska pracy. Ponadto środowisko robocze integruje się natywnie z platformą MLflow, umożliwiając użytkownikom utworzenie udokumentowanego „jednego źródła prawdziwych informacji” dla każdego projektu ROM poprzez rejestrowanie hiperparametrów, metryk oceny oraz wersji zbiorów danych treningowych wykorzystanych do utworzenia każdej wersji modelu AI opracowanej przez dowolny zespół. Sprzyja to przejrzystości i ponownemu wykorzystaniu, umożliwiając różnym zespołom łatwe dostosowywanie architektury modelu w oparciu o swoją wiedzę merytoryczną.
3. Rozwiązanie PaaS przypominające chmurę z przewidywalnymi kosztami
Wyzwanie: zespoły badawczo-rozwojowe potrzebują natychmiastowego dostępu do mocy obliczeniowej nie tylko do iteracyjnego uczenia, ale także do wnioskowania na poziomie produkcyjnym w modelach sztucznej inteligencji. Usługi wnioskowania w chmurze publicznej często powodują „szok tokenowy” lub gwałtowny wzrost kosztów z powodu pętli wnioskowania o dużym wolumenie. Z drugiej strony lokalne rozwiązania IT często nie są wystarczająco elastyczne, by szybko udostępniać zasoby.
Rozwiązanie Cloudera:
Architektura PaaS-by-Design: oparte na technologii Kubernetes rozwiązanie Cloudera to nowoczesna platforma wielodostępna, na której specjaliści samodzielnie konfigurują usługi związane z danymi i sztuczną inteligencją. Platforma dostosowuje swoją skalowalność automatycznie w zależności od aktualnego obciążenia, niezależnie od tego, czy działa w niezależnym centrum danych, czy w ramach subskrypcji chmury prywatnej.
Cloudera AI Inference Service: Ta usługa umożliwia inżynierom wdrażanie wersjonowanych wydań modeli wraz ze standardowymi interfejsami API REST, które można od razu wykorzystać w środowisku produkcyjnym. Ponieważ usługa działa w ramach infrastruktury hostowanej we własnym zakresie, model rozliczeniowy opiera się na godzinach obliczeniowych (na kartę graficzną / procesor) zamiast na systemie „za token”. Umożliwia to konsolidację dziesiątek różnych modeli w ramach jednego klastra, co zapewnia znaczne korzyści skali w przypadku obciążeń inżynieryjnych o dużej skali.
4. Od centrum danych do świata rzeczywistego: wdrażanie rozwiązań brzegowych
Wyzwanie: pełen potencjał modeli ROM często ujawnia się poza centrum danych – w urządzeniach wbudowanych na hali produkcyjnej lub w sterownikach elektrowni, gdzie służy do predykcyjnej konserwacji w czasie rzeczywistym.
Rozwiązanie Cloudera:
Cloudera Edge Management: Usługa ta umożliwia specjalistom tworzenie i wdrażanie potoków danych, które obejmują „w trakcie przetwarzania” wnioskowanie modelowe bezpośrednio w infrastrukturze brzegowej. Dzięki wizualnemu interfejsowi niewymagającemu programowania inżynierowie mogą wdrażać wytrenowane modele ROM na flotach zdalnych agentów, zamykając w ten sposób pętlę między cyfrowym bliźniakiem a rzeczywistym obiektem.
5. Zapewnienie przyszłej kompatybilności dzięki otwartym standardom
Wyzwanie: cykl życia projektów inżynieryjnych mierzy się w dziesięcioleciach. Zastrzeżone narzędzia lub zamknięte formaty chmurowe stwarzają niedopuszczalne ryzyko uzależnienia od dostawcy w odniesieniu do długoterminowych danych produktowych.
Rozwiązanie Cloudera:
Rdzeń oparty na oprogramowaniu open source: cała platforma danych i sztucznej inteligencji firmy Cloudera opiera się na otwartych technologiach rozwijanych przez społeczności (np. Apache NiFi, Apache Spark, Apache Iceberg, Apache Ozone, CNCF Kubernetes i inne).
Ulepszone doświadczenie: dzięki połączeniu tych standardów w ramach ujednoliconej, bezpiecznej i przyjaznej dla użytkownika płaszczyzny sterowania firma Cloudera wypełnia lukę między swobodą rozwiązań open source a łatwością obsługi, jakiej oczekuje się od nowoczesnej platformy chmurowej. Dzięki temu Twoja kluczowa własność intelektualna pozostanie przenośna i dostępna na zawsze.
Przede wszystkim kompleksowa suwerenność bez kompromisów
W odróżnieniu od innych konkurencyjnych platform typu data lakehouse dostępnych na rynku – które często dzielą cykl życia rozwiązania na własną pamięć masową i zasoby obliczeniowe innych dostawców lub zmuszają do wyboru wyłącznie modelu opartego na chmurze publicznej – Cloudera oferuje wszystkie powyższe możliwości w ramach jednej, spójnej platformy.
Cloudera łączy nowoczesne środowisko użytkownika oparte na modelu PaaS z wyjątkową elastycznością umożliwiającą wdrożenie całej platformy we w pełni suwerennym centrum danych. Dzięki temu klienci z sektora zaawansowanej produkcji, działający na rynkach regulowanych lub realizujący projekty o strategicznym znaczeniu, mogą wdrażać najnowocześniejsze strategie AI w możliwie najbezpieczniejszym środowisku, spełniając najbardziej rygorystyczne wymagania dotyczące zarówno lokalizacji danych (Data Residency), jak i suwerenności operacyjnej (Operational Sovereignty).
Kolejne kroki
Przyszłość obliczeń o wysokiej wydajności (HPC) i sztucznej inteligencji w przedsiębiorstwach to niezależność, otwartość i spójność operacyjna – a Cloudera jest fundamentem tej przyszłości. Nasza platforma Private AI Anywhere – działająca w dowolnej chmurze i każdym centrum danych – zapewnia kompleksową, ściśle regulowaną kontrolę nad wszystkimi danymi o znaczeniu krytycznym, modelami, agentami i procesami wnioskowania, gwarantując suwerenność, zgodność z przepisami oraz sprawdzoną wartość biznesową na dużą skalę.