Cloudera SQL Stream Builder to wszechstronny interaktywny interfejs użytkownika do tworzenia stanowych zadań przetwarzania strumienia przy użyciu SQL, który jest przekształcany w zoptymalizowane zadania Flink. Korzystając z SQL, możesz łatwo i łatwo zadeklarować wyrażenia, które filtrują, agregują, kierują i w inny sposób mutują strumienie danych. SQL Stream Builder to interfejs zarządzania zadaniami, którego można używać do tworzenia i uruchamiania SQL na strumieniach, a także do tworzenia trwałych interfejsów API danych dla wyników.

Korzystaj z możliwości przetwarzania danych dokładnie raz – każdorazowo, nawet w przypadku błędów i ponownych prób. Na przykład firma świadcząca usługi finansowe korzysta z przetwarzania strumieniowego do koordynowania setek systemów transakcyjnych zaplecza, gdy konsumenci spłacają swoje kredyty hipoteczne.

Wykrywaj i obsługuj zdarzenia transmisji strumieniowej, które nie występują w odpowiedniej kolejności. Na przykład oszukańcze usługi w czasie rzeczywistym wymagają przetwarzania danych we właściwej kolejności, nawet jeśli dane docierają z opóźnieniem.

Uzyskaj wydajność pozwalającą na przetwarzanie pojedynczych strumieni w pamięci. Możesz na przykład przetwarzać żądania 30 milionów aktywnych użytkowników płacących kartą kredytową, robiących przelewy i sprawdzających saldo z milisekundowym opóźnieniem.

Korzystaj z wyzwalania zdarzeń w przypadku obsługi setek źródeł danych przesyłanych strumieniowo i milionów zdarzeń na sekundę na strumień. Na przykład gdy pacjent zgłasza się na izbę przyjęć, system kontaktuje się z systemami zewnętrznymi, aby pobrać dane dotyczące tego pacjenta z setek źródeł. Dzięki temu dane są dostępne w bazie elektronicznej dokumentacji medycznej, zanim pacjent pojawi się w gabinecie.

Strumienie danych mają niewielką wartość, jeśli nie można ich łatwo integrować, łączyć i składać w siatkę z innymi źródłami danych w stanie spoczynku (np. hurtowniami danych, relacyjnymi bazami danych i jeziorami danych). Konfiguruj dostawców danych za pomocą gotowych łączników lub własnego łącznika z dowolnym źródłem danych. Po utworzeniu dostawców danych użytkownik może łatwo tworzyć wirtualne tabele przy użyciu języka definicji danych. Złożona integracja między wieloma strumieniami i wsadowymi źródłami danych staje się łatwiejsza dzięki dobrze znanym konstrukcjom SQL, takim jak łączenia i agregacje.

Obsługuje miliony wiadomości na sekundę przy małych opóźnieniach i dużej przepustowości, zapewniając elastyczne i transparentne skalowanie bez przestojów. Obsługuje szeroki zakres inicjatyw związanych ze strumieniami danych, umożliwiając przedsiębiorstwom nadążanie za zapotrzebowaniem klientów, świadczenie lepszych usług i proaktywne zarządzanie ryzykiem.

Usługa Streams Messaging Manager zapewnia jednolity interfejs z kompleksowym wglądem w to, jak dane są przenoszone w klastrach Kafka – między producentami, brokerami, tematami i konsumentami – umożliwiając śledzenie pochodzenia danych i zarządzanie nimi od krawędzi po chmurę. Upraszcza również rozwiązywanie problemów ze środowiskami Kafka dzięki inteligentnemu filtrowaniu i sortowaniu.

Rozwiązanie Streams Replication Manager oparte na rozwiązaniu Mirrormaker 2 oferuje odporną na awarie, skalowalną i niezawodną replikację tematów Kafka między klastrami, a także monitorowanie i metryki replikacji na poziomie klastra i tematu. Zapewnia wysoką dostępność, odzyskiwanie po awarii, migracje do chmury, bliskość geograficzną i nie tylko.

Rejestr Schema Registry umożliwia zarządzanie, udostępnianie i obsługę ewolucji wszystkich schematów producentów i klientów we współużytkowanym repozytorium schematów, które umożliwia elastyczną interakcję w środowisku platformy Kafka. Bezpiecznie zapobiegaj występowaniu przerw spowodowanych niezgodnościami schematów.

Rozwiązanie Cruise Control umożliwia zarządzanie dużymi instalacjami Kafka i równoważenie ich obciążenia, a także automatyczne wykrywanie i usuwanie anomalii. Rozwiązuj trudne problemy, takich jak częste awarie sprzętu/maszyn wirtualnych, rozbudowa/redukcja klastra i przesunięcie obciążenia wśród brokerów.

Cloudera SDX oferuje scentralizowane zabezpieczenia, zasady kontroli, nadzór i pochodzenie danych we wszystkich komponentach. Są one ustawiane raz i automatycznie wymuszane, a do tego niezależne od dostawcy, dzięki czemu można śmiało stosować strategie z wykorzystaniem wielu chmur oraz chmur hybrydowych. Obsługuje cztery główne filary bezpieczeństwa: tożsamość, dostęp, ochronę danych i widoczność.