• Cloudera Cloudera
  • Cloudera DataFlow liderem wśród platform do obsługi strumieni danych według GigaOm
    Informacje ogólne

    Co to jest Stream Processing?

    Rozwiązanie Cloudera Stream Processing (CSP) umożliwia klientom przekształcanie strumieni w produkty danych dzięki analizowaniu strumieni danych pod kątem złożonych wzorców i uzyskiwaniu praktycznych informacji.

    Narzędzie CSP bazuje na technologiach Apache Flink i Kafka. Jest to kompletne wysokiej jakości rozwiązanie do zarządzania strumieniami danych i stanowego przetwarzania. Połączenie technologii Kafka obsługującej strumienie i magazyny danych i technologii Flink będącej podstawowym mechanizmem przetwarzania in-stream z doskonałą obsługą standardowych interfejsów branżowych, takich jak SQL i REST, pozwala deweloperom, analitykom danych i badaczom danych łatwo tworzyć hybrydowe potoki strumieni danych zasilające produkty danych w czasie rzeczywistym, pulpity nawigacyjne, aplikacje do analizy danych biznesowych, mikrousługi i notebooki badaczy danych. 

    Szerokie spektrum możliwych zastosowań obejmuje wykrywanie oszustw, analizę zagrożeń sieciowych, analizę danych produkcyjnych, optymalizację handlu, obsługę ofert w czasie rzeczywistym, natychmiastowe zatwierdzanie pożyczek i wiele innych. Są one dostępne dzięki przesunięciu przetwarzania danych w górę strumienia, co umożliwiło uwzględnienie tych zastosowań wymagających działania w czasie rzeczywistym.

    HYBRYDOWE POTOKI DANYCH PRZESYŁANYCH STRUMIENIOWO OBSŁUGIWANE
    PRZEZ CLOUDERA STREAM PROCESSING

    hybrydowe potoki danych przesyłanych strumieniowo: diagram

    Przykłady wykorzystania

    • Wykrywanie oszustw
    • Analityka klientów
    • Monitorowanie rynku
    • Analityka logów

    Wykrywanie oszustw


    Zapobiegaj stratom wynikającym z oszustw finansowych, proaktywnie je wykrywając. 

    Przedsiębiorstwa z sektora handlu detalicznego, usług finansowych i innych branż starają się zapewnić ochronę danych klientów i zapobiegać oszustwom finansowym. Funkcje przetwarzania strumieniowego Cloudera umożliwiają przetwarzanie strumieni transakcji klientów w czasie rzeczywistym, identyfikowanie wzorców, tworzenie alertów predykcyjnych i dostarczanie praktycznych informacji pozwalających zapobiegać oszustwom.

    PT Bank Rakyat Indonesia: wykorzystanie big data, sztucznej inteligencji i uczenia maszynowego w celu lepszego zrozumienia klientów

    Osiągnięto 40-procentową redukcję liczby oszustw.

    Przeczytaj studium przypadku

    Analityka klientów


    Analizy klientów w czasie rzeczywistym poprawiają ich zaangażowanie, utrzymanie i satysfakcję.

    Każda organizacja potrzebuje analiz w czasie rzeczywistym w celu zwiększenia zaangażowania klientów, ale wdrożenie odpowiedniego rozwiązania jest dość trudne ze względu na przytłaczającą ilość danych. Rozwiązanie Cloudera Stream Processing umożliwia analitykę klientów dzięki przetwarzaniu ogromnych ilości danych z opóźnieniem poniżej sekundy, jednocześnie wykrywając interakcje klientów i rekomendując lepsze oferty w czasie rzeczywistym.

    Duże linie lotnicze: poprawa obsługi klienta dzięki automatyzacji opartej na danych

    Osiągnięto spadek wolumenu danych na poziomie 50%, płacąc za strumienie danych do transmisji tylko raz.

    Przeczytaj studium przypadku

    Monitorowanie rynku


    Obsługuj miliony transakcji w ciągu sekundy i zapewnij skalowalność na poziomie petabajtów danych finansowych.

    Giełdy finansowe stoją przed wyzwaniami związanymi z wymaganiami klientów w zakresie raportowania w czasie rzeczywistym i szybkości uwzględnionymi w SLA. Jednak do świadczenia tych usług konieczne jest przetwarzanie petabajtów danych. Rozwiązanie Cloudera Streams Messaging umożliwia łatwe przesyłanie strumieniowe dużych ilości danych, pozwalając giełdom szybko opracowywać oparte analizy rynkowe w czasie rzeczywistym i spełniać coraz bardziej wymagające warunki umów SLA.

    Bombay Stock Exchange: najszybsza na świecie giełda wykorzystuje analitykę w czasie rzeczywistym, aby poprawić jakość zarządzania danymi i branżowych umów SLA

    95% redukcji kosztów operacyjnych.

    Przeczytaj studium przypadku

    Analityka logów


    Zmodernizuj infrastrukturę logowania, aby zapewnić analitykę w czasie rzeczywistym.

    Dane z logów mają coraz większą wartość dla przedsiębiorstw. Organizacje IT mają jednak trudności z zapewnieniem skutecznych procesów gromadzenia logów, dystrybucji odpowiednich informacji w górę strumienia i generowaniem kluczowych pomiarów. Rozwiązanie Cloudera Stream Processing pomaga skalować przetwarzanie logów, zapewnia wgląd w dane w czasie rzeczywistym w całej firmie i znacznie zmniejsza koszty operacyjne.

    Globe Telecom: Wsparcie cyfrowego stylu życia klientów za pomocą nowoczesnego środowiska analitycznego

    Zarządzanie danymi o wolumenie 600 PB.

    Przeczytaj studium przypadku

    Możliwości

    • Streaming Analytics z wykorzystaniem technologii Apache Flink
    • Streams Messaging z wykorzystaniem technologii Apache Kafka

    Analityka na strumieniu danych

    Rozwiązanie Cloudera Streaming Analytics bazujące na technologii Apache Flink z SQL Stream Builder zapewnia następujące korzyści:

    • Przetwarzanie strumienia danych z niskim opóźnieniem 
    • Uproszczenie programowania dzięki umożliwieniu użytkownikom pisania aplikacji do przesyłania strumieniowego z wykorzystaniem standardów branżowych SQL i API za pośrednictwem punktów końcowych REST
    • Zaawansowane techniki okienkowania umożliwiające tworzenie złożonych analiz opartych na zdarzeniach
    • Obsługa modeli chmur wielochmurowych i hybrydowych

    Główne cechy

    SQL Stream Builder (SSB) to wszechstronny interaktywny interfejs użytkownika do tworzenia stanowych zadań przetwarzania strumieniowego za pomocą języka SQL, które są konwertowane na zoptymalizowane zadania Flink. Korzystając z języka SQL, można łatwo deklarować wyrażenia, które filtrują, agregują, kierują i na inne sposoby przekształcają strumienie danych. SSB to interfejs do zarządzania zadaniami pozwalający tworzyć i uruchamiać SQL w strumieniach, a także opracowywać trwałe interfejsy API do obsługi danych dotyczących wyników.

    Korzystaj z możliwości przetwarzania danych dokładnie raz – każdorazowo, nawet w przypadku błędów i ponownych prób. Na przykład firma świadcząca usługi finansowe korzysta z przetwarzania strumieniowego do koordynowania setek systemów transakcyjnych zaplecza, gdy konsumenci spłacają swoje kredyty hipoteczne.

    Wykrywaj i obsługuj zdarzenia transmisji strumieniowej, które nie występują w odpowiedniej kolejności. Na przykład oszukańcze usługi w czasie rzeczywistym wymagają przetwarzania danych we właściwej kolejności, nawet jeśli dane docierają z opóźnieniem.

    Uzyskaj wydajność pozwalającą na przetwarzanie pojedynczych strumieni w pamięci. Możesz na przykład przetwarzać żądania 30 milionów aktywnych użytkowników płacących kartą kredytową, robiących przelewy i sprawdzających saldo z milisekundowym opóźnieniem.

    Korzystaj z wyzwalania zdarzeń w przypadku obsługi setek źródeł danych przesyłanych strumieniowo i milionów zdarzeń na sekundę na strumień. Na przykład gdy pacjent zgłasza się na izbę przyjęć, system kontaktuje się z systemami zewnętrznymi, aby pobrać dane dotyczące tego pacjenta z setek źródeł. Dzięki temu dane są dostępne w bazie elektronicznej dokumentacji medycznej, zanim pacjent pojawi się w gabinecie.

    Strumienie danych mają niewielką wartość, jeśli nie można ich łatwo integrować, łączyć i składać w siatkę z innymi źródłami danych w stanie spoczynku (np. hurtowniami danych, relacyjnymi bazami danych i jeziorami danych). Konfiguruj dostawców danych za pomocą gotowych łączników lub własnego łącznika z dowolnym źródłem danych. Po utworzeniu dostawców danych użytkownik może łatwo tworzyć wirtualne tabele przy użyciu języka definicji danych. Złożona integracja między wieloma strumieniami i wsadowymi źródłami danych staje się łatwiejsza dzięki dobrze znanym konstrukcjom SQL, takim jak łączenia i agregacje.

    Streams Messaging

    Rozwiązanie Cloudera Streams Messaging wykorzystujące technologię Apache Kafka zapewnia następujące korzyści i narzędzia:

    • Streams Messaging Manager do monitorowania/obsługi klastrów
    • Streams Replication Manager do obsługi wdrożeń HA/DR
    • Schema Registry do centralnego zarządzania schematami
    • Kafka Connect do prostego przenoszenia danych i przechwytywania zmian danych oraz Cruise Control do inteligentnego równoważenia i automatycznej naprawy
    • Obsługa modeli chmur wielochmurowych i hybrydowych

    Główne cechy

    Obsługuje miliony wiadomości na sekundę przy małych opóźnieniach i dużej przepustowości, zapewniając elastyczne i transparentne skalowanie bez przestojów. Obsługuje szeroki zakres inicjatyw związanych ze strumieniami danych, umożliwiając przedsiębiorstwom nadążanie za zapotrzebowaniem klientów, świadczenie lepszych usług i proaktywne zarządzanie ryzykiem.

    Usługa Streams Messaging Manager zapewnia jednolity interfejs z kompleksowym wglądem w to, jak dane są przenoszone w klastrach Kafka – między producentami, brokerami, tematami i konsumentami – umożliwiając śledzenie pochodzenia danych i zarządzanie nimi od krawędzi po chmurę. Upraszcza również rozwiązywanie problemów ze środowiskami Kafka dzięki inteligentnemu filtrowaniu i sortowaniu.

    Rozwiązanie Streams Replication Manager oparte na rozwiązaniu Mirrormaker 2 oferuje odporną na awarie, skalowalną i niezawodną replikację tematów Kafka między klastrami, a także monitorowanie i metryki replikacji na poziomie klastra i tematu. Zapewnia wysoką dostępność, odzyskiwanie po awarii, migracje do chmury, bliskość geograficzną i nie tylko.

    Rejestr Schema Registry umożliwia zarządzanie, udostępnianie i obsługę ewolucji wszystkich schematów producentów i klientów we współużytkowanym repozytorium schematów, które umożliwia elastyczną interakcję w środowisku platformy Kafka. Bezpiecznie zapobiegaj występowaniu przerw spowodowanych niezgodnościami schematów.

    Rozwiązanie Cruise Control umożliwia zarządzanie dużymi instalacjami Kafka i równoważenie ich obciążenia, a także automatyczne wykrywanie i usuwanie anomalii. Rozwiązuj trudne problemy, takich jak częste awarie sprzętu/maszyn wirtualnych, rozbudowa/redukcja klastra i przesunięcie obciążenia wśród brokerów.

    Cloudera SDX oferuje scentralizowane zabezpieczenia, zasady kontroli, nadzór i pochodzenie danych we wszystkich komponentach. Są one ustawiane raz i automatycznie wymuszane, a do tego niezależne od dostawcy, dzięki czemu można śmiało stosować strategie z wykorzystaniem wielu chmur oraz chmur hybrydowych. Obsługuje cztery główne filary bezpieczeństwa: tożsamość, dostęp, ochronę danych i widoczność.

    Przetwarzanie strumieniowe w chmurze


    Uprość konfigurację chmury i infrastruktury, korzystając z całkowicie bezpiecznych, zarządzanych, elastycznych klastrów, które są rozwijane w niecałe 10 minut na platformach AWS, Azure i GCP.

    Analityka na strumieniu w usłudze Data Hub

    Rozwiązanie Streaming Analytics for Data Hub dynamizuje działanie Apache Flink i SQL Stream Builder w chmurze publicznej, umożliwiając strumieniowe przetwarzanie danych w czasie rzeczywistym za pośrednictwem SQL lub kodu aplikacji w środowiskach chmury hybrydowej. 

    Streams Messaging for Data Hub

    Rozwiązanie Streams Messaging for Data Hub poszerza lokalną inwestycję Apache Kafka, dynamizując klastry Kafka w chmurze publicznej z kompleksowym zestawem funkcji zarządzania przedsiębiorstwem obejmujących zarządzanie schematami, monitorowanie, odzyskiwanie po awarii, inteligentne równoważenie oraz sprawną kontrolę dostępu i audyt. 

    Obejrzyj prezentację produktu Stream Processing

     

    Cloudera Stream Processing Community Edition


    CSP Community Edition ułatwia tworzenie procesorów strumieniowych nawet bezpośrednio z poziomu komputera stacjonarnego lub dowolnego węzła programistycznego.


    Analitycy, badacze danych i programiści mogą teraz wypróbować nowe funkcje, lokalnie opracowywać procesory strumieniowe oparte na SQL oraz opracowywać rozwiązania Kafka Consumers/Producers i łączniki Kafka Connect, a wszystko to lokalnie, przed przejściem na środowisko produkcyjne.


    Rozpocznij pracę w 5 minut dzięki Stream Processing Community Edition

    Whitepaper

    Cloudera oferuje najlepszy w branży ekosystem Kafka

    Datasheet

    Stream Processing: specyfikacja

    Whitepaper

    Zyskaj możliwości zarządzania, monitorowania i replikowania na platformie Apache Kafka za pomocą Cloudera Data Platform

    Webinar

    Jak uruchomić przepływy NiFi w Kafka KConnect

    Szkolenia, wsparcie i doradztwo na światowym poziomie

    Your form submission has failed.

    This may have been caused by one of the following:

    • Your request timed out
    • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.