Wypełnienie luki między wydajnymi komputerami a suwerenną AI: część pierwsza z trzech

Historycznie analityka danych w wysokowydajnych obliczeniach koncentrowała się głównie na badaniach i rozwoju dla przemysłu inżynieryjnego/produkcyjnego. Natomiast przypadki operacyjnego wykorzystania analizy danych, opierające się na podobnych systemach big data, działały w odosobnieniu. 

Dziś rozwój generatywnej sztucznej inteligencji (GenAI) i uczenia maszynowego (ML) stanowi znaczącą szansę na połączenie tych dwóch dziedzin. Synergia ta pozwala przedsiębiorstwom z obydwoma działami wykorzystać swoją wiedzę i inwestycje infrastrukturalne, co prowadzi do zwiększenia produktywności i przewagi konkurencyjnej dla organizacji badawczo-rozwojowych. W szczególności inżynierowie mechanicy pracujący z wysokowydajnymi systemami komputerowymi mogą znacznie przyspieszyć rozwój produktu i uzyskać głębszy wgląd operacyjny, stosując inteligentne, oparte na sztucznej inteligencji metody kompresji (takie jak modele rzędu zredukowanego) szkolone na platformach big data.

Ta seria blogów, podzielona na trzy części, ilustruje, jak i dlaczego suwerenny magazyn danych (ang. data lakehouse) — otwarty magazyn danych, który może działać pod kontrolą klienta, a nie pod jurysdykcją dostawcy infrastruktury — jest architekturą niezbędną do skalowania eksperymentów fizycznych i przepływów pracy z zastosowaniem AI do niezawodnych operacji klasy korporacyjnej. Omawiamy również, dlaczego Cloudera jest oczywistym wyborem dla organizacji, które chcą połączyć precyzję inżynierii ze zwinnością nowoczesnej analityki danych.

Podstawy wysokowydajnych obliczeń i solwerów rzędu zredukowanego 

Model rzędu pełnego

Zrozumienie mechanizmów symulacji jest kluczem do docenienia transformacyjnej roli sztucznej inteligencji w inżynierii. Tradycyjne symulacje wielofizyczne, takie jak analiza elementów skończonych (wykorzystywana do testowania rzeczywistej integralności strukturalnej) lub obliczeniowa dynamika płynów (wykorzystywana do modelowania ruchu powietrza lub cieczy), działają poprzez podzielenie struktury fizycznej (takiej jak most) na „siatkę” lub system składający się z milionów małych elementów. Matematyczna reprezentacja tych elementów często przyjmuje formę układu oddziałujących tensorów, tj. ustrukturyzowanych zestawów liczb używanych do modelowania, w jaki sposób siły, ciśnienie, temperatura i ruch oddziałują w całym układzie.

Model rzędu pełnego jest najbardziej szczegółowym i fizycznie dokładnym modelem tego systemu. Jego zachowanie fizyczne jest symulowane przez solwer (np. OpenFOAM), który ciągle oblicza złożone równania. Proces ten oblicza zmiany tych tensorów w oparciu o fizykę, w tym jak reakcja pojedynczego elementu wpływa na jego najbliższych sąsiadów i układ jako całość. Chociaż zapewnia to niesamowitą precyzję, wiąże się z kosztami: te symulacje są bardzo wymagające obliczeniowo, często klaster superkomputerowy musi pracować przez wiele dni tylko po to, by przeanalizować jeden scenariusz, co ogranicza tempo, w jakim zespoły mogą iterować, testować alternatywy lub wprowadzać produkty na rynek.

Model rzędu zredukowanego

Model rzędu zredukowanego to technika oparta na sztucznej inteligencji, która radykalnie upraszcza złożone symulacje. Opiera się na zaawansowanych technikach matematycznych, począwszy od klasycznych metod, takich jak rozkład wartości osobliwych, po nowoczesne architektury sztucznych sieci neuronowych, takie jak autoenkodery — w celu aproksymacji wysoce złożonych, nieliniowych układów. 

W swej istocie model rzędu zredukowanego identyfikuje i przechwytuje najważniejsze, definiujące wzorce w obrębie ogromnych objętości symulowanych danych tensorowych generowanych przez model rzędu pełnego.

Poprzez analizę problemu model rzędu zredukowanego skutecznie zmniejsza ogromną przestrzeń obliczeniową do znacznie mniejszej „przestrzeni utajonej” — uproszczonej matematycznej reprezentacji układu (w efekcie „cyfrowego bliźniaka”). Oznacza to, że zamiast tradycyjnego solwera przetwarzającego miliony złożonych równań model rzędu zredukowanego może wymagać rozwiązania jedynie 50 zmiennych utajonych, aby uwzględnić 99% podstawowej fizyki.

Dla inżynierów mechaników, których codzienna praca polega na optymalizacji wydajności produktu, niezawodności i kosztów w niezliczonych kombinacjach geometrii, materiałów, grubości i wagi — ta funkcja zmienia tempo innowacji. Ich przepływ pracy to zasadniczo ciągła sekwencja scenariuszy typu „co-jeśli” czerpiących zarówno z wiedzy syntetycznej z rozwiązań opartych na fizyce, jak i danych z wdrożeń w świecie rzeczywistym. Integracja modeli o zredukowanym rzędzie w ten proces zapewnia szereg znaczących strategicznych korzyści, takich jak:
 

Rozwój modelu rzędu zredukowanego: od teorii do produkcji

ROM-y zapewniają znaczną wartość dzięki przyspieszaniu inżynierskich przepływów pracy, ale pomyślne wdrożenie wymaga poruszania się po określonych ograniczeniach technicznych i realiach operacyjnych, którymi organizacje muszą systematycznie się zająć.

Wymagania dotyczące danych szkoleniowych

Dokładne modele rzędu zredukowanego wymagają dużej ilości danych z modeli pełnego rzędu. Na przykład stworzenie niezawodnego modelu rzędu zredukowanego do analizy zderzeń w branży motoryzacyjnej wymaga od 500 do 2000 uruchomień modelu rzędu pełnego w różnych konfiguracjach materiałów i geometrii, co zajmuje tygodnie działania wysokowydajnego klastra obliczeniowego. Skąpe dane treningowe tworzą modele rzędu zredukowanego, które katastrofalnie zawodzą poza testowanymi warunkami. Zautomatyzowane narzędzia do projektowania eksperymentów pomagają zoptymalizować, które symulacje należy uruchomić, zmniejszając wymagane symulacje modelu pełnego rzędu o 30 do 40% przy zachowaniu dokładności.

Kompromisy dokładności

Wydajność modelu rzędu zredukowanego spada poza granicami treningu. Na przykład model zredukowanej operacji łopatki turbiny przeszkolony na temperaturach roboczych od 800 do 1200°C może generować błąd od 15 do 20% w temperaturze 1250°C. Można temu zaradzić za pomocą technik modelowania zespołowego i kwantyfikacji niepewności. Gdy zaufanie do modelu spadnie poniżej wstępnie zdefiniowanych progów, automatyczne wyzwalacze mogą inicjować uruchamianie walidacji przy użyciu oryginalnego modelu rzędu pełnego.

Obciążenie weryfikacyjne

W środowiskach krytycznych z punktu widzenia bezpieczeństwa (motoryzacja, lotnictwo, energetyka itp.) zastosowania modeli rzędu zredukowanego wymagają rygorystycznej weryfikacji względem modeli pełnego rzędu, często przy znacznym nakładzie pracy (np. szeroko zakrojone badania korelacji). Dzieje się tak, ponieważ organy regulacyjne wymagają udokumentowanej równoważności przed zatwierdzeniem ich użycia. 

Chociaż proces weryfikacji może być intensywny, po zweryfikowaniu modele zmniejszonego rzędu umożliwiają tysiące szybkich iteracji, które byłyby niewykonalne w przypadku samej tradycyjnej symulacji (modele rzędu pełnego).

Luka w umiejętnościach

Skuteczne opracowywanie modeli rzędu zredukowanego wymaga wiedzy zarówno w zakresie inżynierii uczenia maszynowego, jak i fizyki domenowej. Data scientist pracujący samodzielnie może tworzyć matematycznie eleganckie modele, których nie da się zinterpretować fizycznie. Inżynier mechanik pracujący samodzielnie może mieć trudności z optymalizacją hiperparametrów (np. wyborem architektury i skalowaniem modelu). Dlatego małe zespoły wielofunkcyjne konsekwentnie przewyższają większe grupy silosowe. Ważne jest, aby inwestować w programy szkoleniowe, które uczą inżynierów nowoczesnych narzędzi do uczenia maszynowego.

Wdrażanie na urządzeniach brzegowych 

Scenariusze sterowania w czasie rzeczywistym wymagają deterministycznego wnioskowania (<10 milisekund opóźnienia) na wbudowanym sprzęcie. Nie wszystkie architektury modeli rzędu zredukowanego spełniają te wymagania dotyczące opóźnień i pamięci. Głębokie sieci neuronowe często przekraczają budżety zasobów, podczas gdy nadmiernie uproszczone liniowe modele zmniejszonego rzędu poświęcają dokładność. 

Obecną najlepszą praktyką jest wdrażanie etapowe: 

1. Rozpocznij od modeli rzędu zredukowanego opartych na chmurze, umożliwiających wizualizację cyfrowego bliźniaka i konserwację predykcyjną. 

2. Następnie należy wdrażać kontrolery brzegowe dopiero po tym, jak rozległe testy sprzętowe w pętli potwierdzą wydajność w czasie rzeczywistym.

Skalowanie modeli rzędu zredukowanego: od skryptów ad hoc do operacji uczenia maszynowego w przedsiębiorstwach (MLOps)

Choć matematyczne podstawy modeli rzędu zredukowanego są solidne, główną przeszkodą jest standaryzacja ich rozwoju i wdrożenia w całej organizacji. Obecnie wiele zespołów badawczo-rozwojowych opiera się na zdecentralizowanym zbiorze skryptów w języku Python, niezarządzanych systemach plików lub zastrzeżonych środowiskach dostawców. Takie podejścia mogą działać w przypadku poszczególnych projektów, ale zawodzą pod kątem zarządzania, zgodności i branżowych standardów otwartych społeczności.

Aby można było osiągnąć dużą skalę, trening modelu rzędu zredukowanego musi traktować dane symulacyjne zgodnie z takimi samymi rygorystycznymi zasadami zarządzania danymi, jakie stanowią standard w obsłudze dokumentacji finansowej lub danych klientów. 

Aby sprostać tej zmianie, należy rozwiązać takie problemy, jak:
 

Aby dowiedzieć się więcej, czytaj dalej w części drugiej!