Cloudera Data Engineering
Buduj, organizuj i nadzoruj potoki danych klasy korporacyjnej z Apache Spark na platformie Iceberg. Obsługuj skalowalną AI i wielofunkcyjną analitykę, od chmur po centra danych.
OGÓLNE INFORMACJE
Otwarty standard inżynierii danych dla przedsiębiorstw
Rozwiązanie Data Engineering umożliwia zespołom w przedsiębiorstwie bezpieczne budowanie, automatyzowanie i skalowanie potoków danych w oparciu o otwarte jezioro. Obsługuj wielofunkcyjną analizę i sztuczną inteligencję w kontekście danych z dowolnego miejsca.
Ujednolicaj ustrukturyzowane i nieustrukturyzowane dane dzięki całkowicie otwartemu rozwiązaniu Apache Spark na platformie Iceberg i orkiestracji za pomocą Airflow — bez konieczności wiązania z pojedynczym dostawcą.
Twórz potoki danych, uruchamiaj je i zarządzaj nimi w dowolnym miejscu — w chmurach, centrach danych lub środowiskach hybrydowych — dzięki elastyczności zapewnianej przez kontenery i ujednoliconemu nadzorowi.
Osiągnij efektywność kosztową dzięki narzędziom do zarządzania finansami służącym do optymalizacji zasobów, obejmującym możliwość obserwowalności na poziomie obciążeń, automatyczne skalowanie i udostępnianie danych bez ETL.
PRZYKŁADY ZASTOSOWANIA
Twórz kompleksowe potoki danych, aby przyspieszyć działanie sztucznej inteligencji i analityki.
-
Buduj skalowalne potoki danych w dowolnym miejscu
Zapewnij przenośność obciążeń, korzystaj z otwartych standardów i zadbaj o skalowalność zarówno w chmurze, jak i w środowisku lokalnym.
-
Przyspiesz DataOps dzięki orkiestracji
Automatyzuj przepływy pracy, iteruj potoki i upraszczaj współpracę.
-
Udostępnianie danych Zero-ETL
Umożliwiaj bezpieczny i zaufany dostęp do danych, zarówno wewnętrznie, jak i zewnętrznie.
-
Monitoruj i optymalizuj koszty potoków
Obniż TCO dzięki usłudze Observability i wydajnym obliczeniom.
-
Buduj skalowalne potoki danych w dowolnym miejscu
Zapewnij przenośność obciążeń, korzystaj z otwartych standardów i zadbaj o skalowalność zarówno w chmurze, jak i w środowisku lokalnym.
-
Przyspiesz DataOps dzięki orkiestracji
Automatyzuj przepływy pracy, iteruj potoki i upraszczaj współpracę.
-
Udostępnianie danych Zero-ETL
Umożliwiaj bezpieczny i zaufany dostęp do danych, zarówno wewnętrznie, jak i zewnętrznie.
-
Monitoruj i optymalizuj koszty potoków
Obniż TCO dzięki usłudze Observability i wydajnym obliczeniom.
20%
zwiększona wydajność zespołu ds. danych
Zwiększ wydajność dzięki przenośności, koordynacji i ujednoliconemu dostępowi do danych lokalnych w chmurze Cloudera.
Korzystaj z rozwiązań Spark, Iceberg i Airflow z dowolnego miejsca dzięki interfejsom inżynierii danych natywnym dla chmury.
Zwiększ produktywność użytkowników dzięki intuicyjnym i zabezpieczonym narzędziom korporacyjnym
Twórz, testuj i orkiestruj potoki przy użyciu rozwiązań Sessions i Apache Airflow.
Dostarczaj świeże dane do dalszych potoków i na platformy zewnętrzne.
Nawiązuj połączenia z zewnętrznymi silnikami za pośrednictwem Iceberg REST Catalog z nadzorem nad metadanymi i ścieżkami danych.
Skaluj mądrzej dzięki nadzorowi nad finansami na poziomie obciążeń
Optymalizuj koszty dzięki wbudowanym analizom i energooszczędnym procesorom AWS Graviton.
Główne cechy
Uruchamiaj skalowalne, kontrolowane potoki Spark on Iceberg w kontenerach z otwartego jeziora danych. Wykorzystaj rewolucję schematów Iceberg, podróż w czasie i zewnętrzne udostępnianie danych w środowiskach lokalnych lub w chmurze.
Orkiestracja typu „przeciągnij i upuść” dla złożonych przepływów pracy upraszczająca zarządzanie zadaniami, kontrolę zależności i łączność z narzędziami zewnętrznymi.
Uruchamiaj sesje na żądanie do szybkiego testowania i obsługi iteracji. Umożliwiaj zdalne, bezpieczne programowanie z poziomu dowolnego IDE, np. VSCode i Jupyter Notebook, obsługiwane przez Spark Connect.
Utrzymuj aktualność danych, rejestrując zmiany na poziomie wiersza z systemów źródłowych. Automatyzuj kolejne aktualizacje, aby budować niezawodne potoki danych.
Kompleksowo monitoruj potoki danych dzięki zintegrowanemu zarządzaniu pochodzeniem i metadanymi. Rozwiązanie obsługiwane przez platformy Cloudera Shared Data Experience (SDX) i Cloudera Octopai Data Lineage zapewniające zautomatyzowaną widoczność, nadzór i zaufany wgląd w środowiskach hybrydowych.
Automatyzuj przepływy pracy w potokach w ramach dowolnej usługi za pomocą niezawodnych interfejsów API — niezależnie od tego, czy pracujesz w języku SQL, Java, Scala czy Python. Szybko diagnozuj i rozwiązuj problemy z wydajnością dzięki wizualnemu profilowaniu w czasie rzeczywistym z wbudowanym monitorowaniem i obsługą alertów na każdym etapie cyklu życia.
Funkcje według typu klastra Cloudera Data Engineering
| Klaster główny | Klaster uniwersalnego zastosowania | ||
Infrastruktura |
Klaster automatycznego skalowania | ||
| Wystąpienia spot | |||
| Cloudera Shared Data Experience | |||
| Otwarte jezioro danych z Iceberg | |||
Spark |
Zarządzanie cyklem życia zadań | ||
| Scentralizowany monitoring | |||
| Orkiestracja przepływu pracy (Airflow) | |||
| Przetwarzanie strumieniowe Spark | |||
Końcowe punkty deweloperskie |
Sesje interaktywne | ||
| Łączność z zewnętrznymi IDE | |||
| Konektor JDBC (wkrótce) | |||
Opcje wdrażania Cloudera Data Engineering
Zunifikowana warstwa przetwarzania oparta na otwartym, hybrydowym jeziorze danych.
Cloudera w chmurze
- Elastyczność w zakresie wielu chmur: wdrażaj rozwiązania w chmurach publicznych za pomocą konteneryzowanych usług opartych na interfejsie API — bez konieczności wiązania się z pojedynczym dostawcą i z pełną interoperacyjnością.
- Modułowe doświadczenie dewelopera: Korzystaj z Apache Airflow, zarządzanej platformy Spark oraz interfejsów API i IDE — przyspieszaj rozwój dzięki iteracyjnej współpracy.
- Elastyczna skalowalność: automatyczne, dynamiczne skalowanie obciążeń Spark i optymalizacja kosztów na podstawie użycia.
Cloudera w środowisku lokalnym
- Własność wdrożenia: wdrażaj rozwiązania w chmurach publicznych za pomocą konteneryzowanych usług opartych na interfejsie API — bez konieczności wiązania się z pojedynczym dostawcą i z pełną interoperacyjnością.
- Interfejsy przystosowane do chmury: uzyskaj te same modułowe, konteneryzowane usługi co w chmurze — stworzone z myślą o hybrydowej przenośności i skalowalności.
- Stworzone z myślą o przedsiębiorstwach: skorzystaj z szybkiego onboardingu, dostępu do zewnętrznych środowisk IDE i domyślnych szczegółowych funkcji kontroli dostępu.
KLIENCI
Zespoły ufają nam w kwestii przekształcania danych hybrydowych w korzyści biznesowe.
Transport
GEODIS
Usługi finansowe
Nord/LB
Produkcja i motoryzacja
Navistar
Łączniki, integracje i partnerzy.
Twórz potoki w oparciu o otwarty, interoperacyjny ekosystem danych. Integruj aplikacje z wiodącymi silnikami, dostawcami usług chmurowych i narzędziami w całym nowoczesnym stosie danych.
Przetwarzanie danych
Jeziora i hurtownie danych
Orkiestracja danych
Pozyskiwanie strumieniowe
Silnik NoSQL
Jeziora i hurtownie danych
Dostawca usług chmurowych
Dostawca usług chmurowych
Dostawca usług chmurowych
Dostawca usług chmurowych
Orkiestracja kontenerów
Hurtownia danych
Zaangażuj się
Zrób następny krok
Poznaj szczegóły i odkryj zaawansowane możliwości rozwiązania Cloudera Data Engineering.
Prezentacja produktu Data Engineering
Zapoznaj się z rozwiązaniem Cloudera Engineering w praktyce podczas prezentacji produktu.
Dokumentacja rozwiązania Data Engineering
Uzyskaj szczegółowe informacje na temat rozpoczynania pracy z rozwiązaniem Cloudera Data Engineering.
Data Engineering w chmurze
Data Engineering w środowisku lokalnym
Poznaj więcej produktów
Analizuj ogromne ilości danych dla tysięcy jednoczesnych użytkowników bez kompromisów w zakresie kosztów, szybkości i bezpieczeństwa.
Otwarta architektura Data Lakehouse
Podejmuj mądre decyzje dzięki elastycznej platformie, która przetwarza dowolne dane w każdym miejscu, w celu uzyskania przydatnych analiz i zaufanej sztucznej inteligencji.
Przyspiesz proces podejmowania decyzji w oparciu o dane (od badań po produkcję) dzięki bezpiecznej, skalowalnej i otwartej platformie sztucznej inteligencji dla przedsiębiorstw.
Gromadź i przenoś dane z dowolnego źródła w dowolne miejsce w prosty, bezpieczny, skalowalny i ekonomiczny sposób.