Informacje ogólne
Kontrola dystrybucji danych i elastyczność umożliwiająca dostarczanie danych w dowolne miejsce.
CDF-PC oferuje bazujący na przepływie niskokodowy paradygmat programowania uwzględniający sposób projektowania, rozwoju i testowania potoków dystrybucji danych przez deweloperów. Dzięki ponad 450 łącznikom i procesorom w całym ekosystemie usług chmury hybrydowej – takim jak jeziora danych (data lakes), repozytoria lakehouse, hurtownie danych w chmurze i lokalne źródła danych – CDF-PC zapewnia bezstronną dystrybucję danych. Przepływy dystrybucji danych mogą następnie podlegać kontroli wersji w katalogu, gdzie operatorzy mogą samodzielnie obsługiwać wdrożenia w różnych środowiskach wykonawczych.
CLOUDERA DATAFLOW DLA CHMURY PUBLICZNEJ
Uniwersalna dystrybucja danych oparta na Apache NiFi
Łączność z dowolnym źródłem danych w dowolnym miejscu, przetwarzanie i dostarczanie do dowolnej lokalizacji
Przykłady wykorzystania
Bezserwerowe i bezkodowe mikrousługi
Przetwarzanie plików w czasie zbliżonym do rzeczywistego
Pozyskiwanie danych do lakehouse
Cyberbezpieczeństwo i optymalizacja logów
Gromadzenie danych IoT i przesyłanych strumieniowo
Bezserwerowe i bezkodowe mikrousługi
DataFlow Functions to pierwsze wizualne rozwiązanie typu no-code służące tworzeniu mikrousług z nieskończonym skalowaniem.
Korzystając z przepływów NiFi w ramach AWS Lambda, Azure Functions i Google Cloud Functions, DataFlow Functions jest pierwszym rozwiązaniem zapewniającym łatwy w użyciu, bezkodowy interfejs użytkownika do tworzenia mikrousług uruchamianych przez żądania HTTPS. Daje ono możliwość błyskawicznego zbudowania punktu końcowego API z nieskończonym skalowaniem w środowisku bezserwerowym.
Przetwarzanie plików w czasie zbliżonym do rzeczywistego
DataFlow Functions w prosty sposób umożliwia przetwarzanie plików w architekturze bezserwerowej w czasie zbliżonym do rzeczywistego.
Korzystając z przepływów NiFi w ramach AWS Lambda, Azure Functions i Google Cloud Functions, DataFlow Functions zapewnia najbardziej efektywny kosztowo sposób przetwarzania plików udostępnianych w magazynie obiektów. Zasoby są uruchamiane tylko podczas przetwarzania danych, a NiFi nie musi już działać przez całą dobę. Rozwiązanie DataFlow Functions zapewnia również w pełni bezserwerową architekturę, eliminując koszty związane z infrastrukturą.
Pozyskiwanie danych do lakehouse
Modernizacja potoków danych przy użyciu narzędzia obsługującego dowolne repozytorium lakehouse lub hurtownię danych.
Dzięki obsłudze ponad 450 procesorów Cloudera DataFlow ułatwia gromadzenie i przekształcanie danych do formatu wymaganego przez dane repozytorium lakehouse.
Usługa Cloudera DataFlow oferuje elastyczność umożliwiającą zarządzanie nieustrukturyzowanymi danymi w ich obecnej postaci i uzyskanie wysokiej przepustowości dzięki temu, że nie trzeba narzucać żadnego schematu ani struktury, a dane można łatwo przekształcać z wykorzystaniem języka wyrażeń NiFi lub zapytań SQL.
Cyberbezpieczeństwo i optymalizacja logów
Zapewnij analitykom danych możliwość szybszego i dokładniejszego wykrywania i analizowania zdarzeń dzięki organizowaniu danych SIEM.
Obniż koszt swojego rozwiązania zapewniającego cyberbezpieczeństwo, modernizując potoki gromadzenia danych, aby gromadziły i filtrowały dane w czasie rzeczywistym z tysięcy źródeł na całym świecie.
Pozyskiwanie logów ze wszystkich urządzeń i aplikacji do rozwiązania SIEM nie jest skalowalnym podejściem w kontekście kosztów i wydajności. Cloudera DataFlow umożliwia zbieranie danych dziennika z dowolnego miejsca i filtrowanie szumów, dzięki czemu dane przechowywane w systemie SIEM są łatwe do zarządzania.
Gromadzenie danych IoT i przesyłanych strumieniowo
Wysyłaj dane z urządzeń IoT na krawędzi do centralnego przepływu danych w chmurze z opcją skalowania w zależności od potrzeb.
Usługa Cloudera DataFlow jest przeznaczona do obsługi strumieni danych na dużą skalę. Projekt IoT może na początku być skromny, ale rozwiązanie zapewnia obsługę przepływów danych powiększających się wraz z dodawaniem nowych urządzeń źródłowych. Pozwala również rozwiązywać cykliczne problemy z łącznością.
Środowisko wykonawcze DataFlow Functions zapewnia wydajny, zoptymalizowany kosztowo, skalowalny sposób uruchamiania przepływów NiFi w sposób całkowicie bezserwerowy dla przykładów wykorzystania opartych na zdarzeniach.
Wdrożenia DataFlow są automatycznie skalowane w zależności od wykorzystania procesora. Koszty infrastruktury można kontrolować, ustawiając minimalny i maksymalny poziom automatycznego skalowania.
Korzystając z bogatej biblioteki procesorów NiFi, można się łączyć z dowolnymi źródłami i celami danych, takimi jak lokalne źródła danych, magazyny danych w chmurze, hurtownie danych w chmurze, źródła danych logów, usługi analizy danych w chmurze czy też usługi przetwarzania procesów biznesowych. Deweloperzy mogą również szybko wdrażać wstępnie zdefiniowane przepływy danych wymagające minimalnej konfiguracji (ReadyFlows), aby zapewnić obsługę najpowszechniejszych scenariuszy dotyczących przepływu danych.
Monitoruj wszystkie wdrożenia przepływów NiFi za pomocą jednego pulpitu nawigacyjnego bez względu na to, w której chmurze działają. Obserwuj ważne pomiary wydajności przepływów, definiując alerty dotyczące kluczowych wskaźników wydajności dla swoich wdrożeń przepływów.
Łatwo udostępniaj bezpieczne, stabilne i skalowalne punkty końcowe, aby aplikacje mogły bezproblemowo wysyłać dane do wdrożeń przepływów.
Usługa Cloudera Data Flow powstała z myślą o automatyzacji. Każde działanie wykonane w interfejsie może zostać przekształcone w deklarację CLI na użytek automatyzacji. Wdrożenie nowego przepływu NiFi jest zatem równie proste jak wykonanie polecenia CLI.
TWORZENIE PRZEPŁYWÓW NIFI W DOWOLNEJ LOKALIZACJI I ICH WDROŻENIE W KAŻDEJ CHMURZE
jako automatycznie skalujące się klastry Kubernetes lub bezserwerowe przepływy NiFi
Opcje środowiska wykonawczego w chmurze publicznej
| Cecha | Wdrożenia DataFlow | Funkcje DataFlow |
Środowisko wykonawcze w chmurze |
Tworzenie klastrów NiFi przy użyciu technologii Kubernetes / kontenerów |
Przepływy NiFi działające na bezserwerowych usługach obliczeniowych dostawców chmury (AWS Lambda, Azure Functions i Google Cloud Functions) |
|---|---|---|
Przykład wykorzystania |
Przykłady wykorzystania, których warunkiem są niskie opóźnienia dla obciążeń o dużej przepustowości, wymagające nieprzerwanych przepływów NiFi | Przykłady wykorzystania oparte na zdarzeniach i mikroimpulsach, w których nie są konieczne opóźnienia poniżej sekundy, niewymagające nieprzerwanych przepływów NiFi |
Korzyści |
Automatyczne skalowanie klastrów Kubernetes dla długo działających przepływów pracy ze scentralizowanym monitorowaniem | Wydajny, zoptymalizowany kosztowo, skalowalny sposób na bezserwerowe przepływy NiFi, pozwalający programistom skupiać się na logice biznesowej |
Jednostka pomiarowa |
Jednostka obliczeniowa Cloudera (CCU) | Liczba wywołań metod |
Wypróbuj usługę DataFlow dla chmury publicznej (Public Cloud)
Zbieranie danych z krawędzi
Kontroluj i monitoruj urządzenia krawędziowe oraz zarządzaj nimi w ramach inicjatyw związanych ze strumieniami danych i IoT. Dostarczaj strumienie danych w czasie rzeczywistym, korzystając z bezkodowego pozyskiwania i zarządzania za pośrednictwem Cloudera Edge Management.
Jak zacząć
DOKUMENTACJA PRODUKTU
Zapoznaj sie ze specyfikacją techniczną, architekturą i samouczkami dotyczącymi usługi Cloudera DataFlow for the Public Cloud.
CENY USŁUGI CDF FOR THE PUBLIC CLOUD
Sprawdź ceny usługi Cloudera DataFlow for the Public Cloud dla różnych instancji chmury publicznej.
PREZENTACJA PRZEGLĄDOWA USŁUGI DATAFLOW
Zapoznaj się z prezentacją usługi Cloudera DataFlow for the Public Cloud.
SPOŁECZNOŚĆ CLOUDERA Z PROJEKTEM NIFI
Kontaktuj się ze swoimi współpracownikami, zadawaj pytania, rozwiązuj problemy i dowiedz się więcej o Apache NiFi.
SZKOLENIE NA TEMAT PROJEKTU NIFI
Zapisz się na trzydniowe szkolenie praktyczne z podstaw Apache NiFi i nie tylko.
WERSJA DEMONSTRACYJNA PRODUKTU
Obejrzyj wprowadzenie i demo dotyczące usługi Cloudera DataFlow for the Public Cloud.
