Ogłoszenie ogólnej dostępności funkcji DataFlow dla krótkotrwałych, opartych na zdarzeniach przykładów zastosowania

Informacje ogólne
 

Kontrola dystrybucji danych i elastyczność umożliwiająca dostarczanie danych w dowolne miejsce.


CDF-PC oferuje bazujący na przepływie niskokodowy paradygmat programowania uwzględniający sposób projektowania, rozwoju i testowania potoków dystrybucji danych przez deweloperów. Dzięki ponad 450 łącznikom i procesorom w całym ekosystemie usług chmury hybrydowej – takim jak jeziora danych (data lakes), repozytoria lakehouse, hurtownie danych w chmurze i lokalne źródła danych – CDF-PC zapewnia bezstronną dystrybucję danych. Przepływy dystrybucji danych mogą następnie podlegać kontroli wersji w katalogu, gdzie operatorzy mogą samodzielnie obsługiwać wdrożenia w różnych środowiskach wykonawczych.

CLOUDERA DATAFLOW DLA CHMURY PUBLICZNEJ

Uniwersalna dystrybucja danych oparta na Apache NiFi

Schemat usługi CDF for Public Cloud

Łączność z dowolnym źródłem danych w dowolnym miejscu, przetwarzanie i dostarczanie do dowolnej lokalizacji

Przykłady wykorzystania

  • Bezserwerowe i bezkodowe mikrousługi
  • Przetwarzanie plików w czasie zbliżonym do rzeczywistego
  • Pozyskiwanie danych do lakehouse
  • Cyberbezpieczeństwo i optymalizacja logów
  • Gromadzenie danych IoT i przesyłanych strumieniowo

Bezserwerowe i bezkodowe mikrousługi


DataFlow Functions to pierwsze wizualne rozwiązanie typu no-code służące tworzeniu mikrousług z nieskończonym skalowaniem.

Korzystając z przepływów NiFi w ramach AWS Lambda, Azure Functions i Google Cloud Functions, DataFlow Functions jest pierwszym rozwiązaniem zapewniającym łatwy w użyciu, bezkodowy interfejs użytkownika do tworzenia mikrousług uruchamianych przez żądania HTTPS. Daje ono możliwość błyskawicznego zbudowania punktu końcowego API z nieskończonym skalowaniem w środowisku bezserwerowym.

 

Przetwarzanie plików w czasie zbliżonym do rzeczywistego


DataFlow Functions w prosty sposób umożliwia przetwarzanie plików w architekturze bezserwerowej w czasie zbliżonym do rzeczywistego.

Korzystając z przepływów NiFi w ramach AWS Lambda, Azure Functions i Google Cloud Functions, DataFlow Functions zapewnia najbardziej efektywny kosztowo sposób przetwarzania plików udostępnianych w magazynie obiektów. Zasoby są uruchamiane tylko podczas przetwarzania danych, a NiFi nie musi już działać przez całą dobę. Rozwiązanie DataFlow Functions zapewnia również w pełni bezserwerową architekturę, eliminując koszty związane z infrastrukturą.

Pozyskiwanie danych do lakehouse


Modernizacja potoków danych przy użyciu narzędzia obsługującego dowolne repozytorium lakehouse lub hurtownię danych.

Dzięki obsłudze ponad 450 procesorów Cloudera DataFlow ułatwia gromadzenie i przekształcanie danych do formatu wymaganego przez dane repozytorium lakehouse.

Usługa Cloudera DataFlow oferuje elastyczność umożliwiającą zarządzanie nieustrukturyzowanymi danymi w ich obecnej postaci i uzyskanie wysokiej przepustowości dzięki temu, że nie trzeba narzucać żadnego schematu ani struktury, a dane można łatwo przekształcać z wykorzystaniem języka wyrażeń NiFi lub zapytań SQL.

 

Cyberbezpieczeństwo i optymalizacja logów


Zapewnij analitykom danych możliwość szybszego i dokładniejszego wykrywania i analizowania zdarzeń dzięki organizowaniu danych SIEM.

Obniż koszt swojego rozwiązania zapewniającego cyberbezpieczeństwo, modernizując potoki gromadzenia danych, aby gromadziły i filtrowały dane w czasie rzeczywistym z tysięcy źródeł na całym świecie.

Pozyskiwanie logów ze wszystkich urządzeń i aplikacji do rozwiązania SIEM nie jest skalowalnym podejściem w kontekście kosztów i wydajności. Cloudera DataFlow umożliwia zbieranie danych dziennika z dowolnego miejsca i filtrowanie szumów, dzięki czemu dane przechowywane w systemie SIEM są łatwe do zarządzania.

Gromadzenie danych IoT i przesyłanych strumieniowo


Wysyłaj dane z urządzeń IoT na krawędzi do centralnego przepływu danych w chmurze z opcją skalowania w zależności od potrzeb.

Usługa Cloudera DataFlow jest przeznaczona do obsługi strumieni danych na dużą skalę. Projekt IoT może na początku być skromny, ale rozwiązanie zapewnia obsługę przepływów danych powiększających się wraz z dodawaniem nowych urządzeń źródłowych. Pozwala również rozwiązywać cykliczne problemy z łącznością.

Główne cechy

Środowisko wykonawcze DataFlow Functions zapewnia wydajny, zoptymalizowany kosztowo, skalowalny sposób uruchamiania przepływów NiFi w sposób całkowicie bezserwerowy dla przykładów wykorzystania opartych na zdarzeniach.

Wdrożenia DataFlow są automatycznie skalowane w zależności od wykorzystania procesora. Koszty infrastruktury można kontrolować, ustawiając minimalny i maksymalny poziom automatycznego skalowania.

Korzystając z bogatej biblioteki procesorów NiFi, można się łączyć z dowolnymi źródłami i celami danych, takimi jak lokalne źródła danych, magazyny danych w chmurze, hurtownie danych w chmurze, źródła danych logów, usługi analizy danych w chmurze czy też usługi przetwarzania procesów biznesowych. Deweloperzy mogą również szybko wdrażać wstępnie zdefiniowane przepływy danych wymagające minimalnej konfiguracji (ReadyFlows), aby zapewnić obsługę najpowszechniejszych scenariuszy dotyczących przepływu danych.

Monitoruj wszystkie wdrożenia przepływów NiFi za pomocą jednego pulpitu nawigacyjnego bez względu na to, w której chmurze działają. Obserwuj ważne pomiary wydajności przepływów, definiując alerty dotyczące kluczowych wskaźników wydajności dla swoich wdrożeń przepływów.

Łatwo udostępniaj bezpieczne, stabilne i skalowalne punkty końcowe, aby aplikacje mogły bezproblemowo wysyłać dane do wdrożeń przepływów.

Usługa Cloudera Data Flow powstała z myślą o automatyzacji. Każde działanie wykonane w interfejsie może zostać przekształcone w deklarację CLI na użytek automatyzacji. Wdrożenie nowego przepływu NiFi jest zatem równie proste jak wykonanie polecenia CLI.

TWORZENIE PRZEPŁYWÓW NIFI W DOWOLNEJ LOKALIZACJI I ICH WDROŻENIE W KAŻDEJ CHMURZE
jako automatycznie skalujące się klastry Kubernetes lub bezserwerowe przepływy NiFi

DataFlow for Public Cloud: diagram

Opcje środowiska wykonawczego w chmurze publicznej

Cecha Wdrożenia DataFlow Funkcje DataFlow

Środowisko wykonawcze w chmurze

Tworzenie klastrów NiFi przy użyciu
technologii Kubernetes / kontenerów
Przepływy NiFi działające na bezserwerowych usługach obliczeniowych dostawców chmury (AWS Lambda, Azure Functions i Google Cloud Functions)

Przykład wykorzystania

Przykłady wykorzystania, których warunkiem są niskie opóźnienia dla obciążeń o dużej przepustowości, wymagające nieprzerwanych przepływów NiFi Przykłady wykorzystania oparte na zdarzeniach i mikroimpulsach, w których nie są konieczne opóźnienia poniżej sekundy, niewymagające nieprzerwanych przepływów NiFi

Korzyści

Automatyczne skalowanie klastrów Kubernetes dla długo działających przepływów pracy ze scentralizowanym monitorowaniem Wydajny, zoptymalizowany kosztowo, skalowalny sposób na bezserwerowe przepływy NiFi, pozwalający programistom skupiać się na logice biznesowej

Jednostka pomiarowa

Jednostka obliczeniowa Cloudera (CCU) Liczba wywołań metod 

Wypróbuj usługę DataFlow dla chmury publicznej (Public Cloud)

Zbieranie danych z krawędzi 


Kontroluj i monitoruj urządzenia krawędziowe oraz zarządzaj nimi w ramach inicjatyw związanych ze strumieniami danych i IoT. Dostarczaj strumienie danych w czasie rzeczywistym, korzystając z bezkodowego pozyskiwania i zarządzania za pośrednictwem Cloudera Edge Management.

Jak zacząć

DOKUMENTACJA PRODUKTU

Zapoznaj sie ze specyfikacją techniczną, architekturą i samouczkami dotyczącymi usługi Cloudera DataFlow for the Public Cloud.

Dowiedz się więcej

CENY USŁUGI CDF FOR THE PUBLIC CLOUD


Sprawdź ceny usługi Cloudera DataFlow for the Public Cloud dla różnych instancji chmury publicznej.

Dowiedz się więcej

PREZENTACJA PRZEGLĄDOWA USŁUGI DATAFLOW

Zapoznaj się z prezentacją usługi Cloudera DataFlow for the Public Cloud.

Zobacz teraz

SPOŁECZNOŚĆ CLOUDERA Z PROJEKTEM NIFI

Kontaktuj się ze swoimi współpracownikami, zadawaj pytania, rozwiązuj problemy i dowiedz się więcej o Apache NiFi.

Dowiedz się więcej

SZKOLENIE NA TEMAT PROJEKTU NIFI

Zapisz się na trzydniowe szkolenie praktyczne z podstaw Apache NiFi i nie tylko.

Do nauki

WERSJA DEMONSTRACYJNA PRODUKTU

Obejrzyj wprowadzenie i demo dotyczące usługi Cloudera DataFlow for the Public Cloud.

Obejrzyj

Demo

Funkcje DataFlow na Cloudera Data Platform w chmurze publicznej

Webinar

Ułatwienie przenoszenia danych przedsiębiorstwa z dowolnego miejsca do dowolnego systemu

News

Blog: ogłoszenie ogólnej dostępności funkcji DataFlow

Webinar

Większa kontrola nad strumieniowymi procesami danych

Szkolenia, wsparcie i doradztwo na światowym poziomie

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.