Cloudera Data Engineering
Potoki danych klasy korporacyjnej do szybkiej iteracyjnej analizy i rozwoju sztucznej inteligencji.
Informacje ogólne
Bezpiecznie usprawnij i operacjonalizuj potoki danych w dowolnej skali.
Usługa Cloudera Data Engineering jest jedyną usługą natywną w chmurze stworzoną specjalnie dla zespołów inżynierii danych w przedsiębiorstwach. Oparta na rozwiązaniu Apache Spark usługa Data Engineering to kompleksowy zestaw narzędzi do inżynierii danych, który umożliwia automatyzację orkiestracji za pomocą Apache Airflow, a także zapewnia zaawansowane monitorowanie procesów, wizualne rozwiązywanie problemów i kompleksowe narzędzia do zarządzania w celu usprawnienia procesów ETL w zespołach analitycznych przedsiębiorstwa.
Usługa Data Engineering jest w pełni zintegrowana z platformą Cloudera, umożliwiając kompleksową widoczność i bezpieczeństwo dzięki SDX, a także płynną integrację z usługami danych, takimi jak Cloudera Data Warehouse i Cloudera AI (wcześniej Cloudera Machine Learning). Usługa Data Engineering zapewnia spójne, powtarzalne i zautomatyzowane procesy związane z inżynierią danych na platformie chmury hybrydowej w dowolnym miejscu.
Przypadki użycia usługi Cloudera Data Engineering
- Automatyzuj procesy danych w dowolnym miejscu
- Uzyskaj widoczność i kontrolę nad ETL
- Zachowaj integralność danych
Automatyzuj procesy danych w dowolnym miejscu
Bezpiecznie dostarczaj wysokiej jakości zestawy danych do usług Cloudera Data Warehouse, Cloudera AI lub dowolnego innego narzędzia analitycznego.
Usługa Data Engineering upraszcza potoki danych do zespołów analitycznych – od uczenia maszynowego po hurtownie danych i nie tylko. Skróć czas do uzyskania wartości dzięki organizacji i automatyzacji potoków, aby dostarczać zorganizowane i przejrzyste zbiory danych wysokiej jakości w dowolnym miejscu.
Uzyskaj widoczność i kontrolę nad ETL
Holistycznie zarządzaj cyklem życia danych w przejrzysty sposób.
Zarządzanie cyklem życia danych i kontrolowanie kosztów stają się coraz bardziej złożone, gdy próbuje się operacjonalizować potoki danych w całym przedsiębiorstwie na dużą skalę.
Usługa Data Engineering oferuje zestaw funkcji kontroli operacyjnej i widoczności na potrzeby planowania wydajności, automatyzacji procesów, automatycznej identyfikacji pochodzenia i rozwiązywania problemów w biznesowych przypadkach użycia.
Zachowaj integralność danych
Pełna widoczność potoku danych w celu ochrony Twojej firmy.
Wraz ze wzrostem ilości i złożoności danych zapewnienie stałej dokładności i wierności na potrzeby skalowania obciążeń analitycznych w całej firmie może być trudne.
Data Engineering oferuje natywne monitorowanie potoku danych i ostrzeganie w celu wczesnego wykrywania problemów, a także wizualne rozwiązywanie problemów, które pozwala szybko eliminować problemy, zanim wpłyną one na firmę.
Orkiestruj złożone procesy transformacji danych wspierane przez Apache Airflow z setkami operatorów, aby spełnić krytyczne wymagania analityczne.
Usługa Data Engineering jest skonteneryzowana, skalowalna i przenośna, z izolowanymi środowiskami obciążeń i limitami, co umożliwia bezpieczne zarządzanie potokami za pomocą elastycznych obliczeń na żądanie w celu spełnienia wymogów umów SLA w efektywny kosztowo sposób.
Wizualizuj metryki wydajności, w tym w zakresie procesora, pamięci i operacji we/wy na wszystkich etapach zadań Spark, aby wskazać wąskie gardła wydajności i zidentyfikować „igłę w stogu siana” podczas rozwiązywania problemów.
Wykorzystaj obszerny interfejs zarządzania zadaniami za pośrednictwem interfejsów API CLI i REST, aby z łatwością automatyzować i integrować istniejące przepływy pracy, takie jak potoki CI/CD i narzędzia innych firm.
Usługa Data Engineering oferuje w pełni zintegrowaną usługę Spark na platformie Kubernetes, która automatyzuje i usprawnia zarządzanie artefaktami, zabezpieczenia i planowanie zasobów – wykorzystując Apache Yunikorn do tworzenia harmonogramów FIFO i GANG.
Za pomocą scentralizowanego interfejsu administratorzy platformy mogą zarządzać dostępem i zabezpieczeniami, a następnie szybko udostępniać nowe obciążenia, jednocześnie łatwo monitorując zasoby i wizualizując wykorzystanie zasobów w czasie. SDX umożliwia również śledzenie pochodzenia w całym cyklu życia, dzięki czemu wiesz, skąd pochodzą dane i dokąd zmierzają.
Chcesz dowiedzieć się więcej?
Sprawdź, jak działa Cloudera Data Engineering
