Jak podaje Statista, globalna ilość danych utworzonych, przechwyconych, skopiowanych i wykorzystanych w 2023 r. wyniosła 120 zettabajtów. Liczba ta wzrośnie do 181 zettabajtów do 2025 roku. Biznes musi nauczyć się radzić sobie z rosnącą ilością danych. Wyzwanie dotyczy przetwarzania, przechowywania, a także ochrony przed ich wyciekiem lub utratą.
Raport Światowego Forum Ekonomicznego (WEF) 2023 Global Risks Report stwierdza, że cyberbezpieczeństwo należy do 10 największych globalnych zagrożeń zarówno obecnie, jak i w przyszłości. Przewiduje się, że do 2025 r. roczny koszt poniesiony w wyniku działań cyberprzestępców osiągnie 10,5 bln USD.
Zwiększenie wydajności przetwarzania danych jest dziś palącym problemem branży IT, ale nie tylko. Ilość danych, które obecne systemy mogą przetwarzać w tym samym czasie, stanowi wyzwanie dla wielu branż, również takich jak finanse czy administracja. Ponieważ w firmach wiele różnych działów pracuje na różnych zbiorach danych jednocześnie, istotnym wyzwaniem dla biznesu staje się także standaryzacja danych. Dlatego dla dostawców usług chmurowych rozwiązania, które umożliwią sprawne formatowanie i nawigację po danych, są na wagę złota.
Ogromne zbiory wymagają nowych rozwiązań
Przedsiębiorstwa często polegają na technologiach, które zostały opracowane lata temu i są obecnie uważane za „standard rynkowy”. Rozwiązania te zostały dostosowane do obciążeń systemowych, które nie odpowiadają już obecnym wymaganiom. Starając się chronić początkową inwestycję, firmy dodają kolejne jednostki obliczeniowe, aby utrzymać stabilność i wydajność, która często jednak pozostaje na niskim poziomie. W rezultacie firmy napotykają dwa istotne problemy: niewystarczającą wydajność i rosnące koszty, które skłaniają ich do poszukiwania strategii wyjścia – mówi Tomasz Płoński, Chief Technology Officer w Omnilogy.
W związku z tym rozwój nowych technologii, które będą obsługiwać ogromne ilości danych, staje się kluczowy. Coraz więcej firm z branży ICT poszukuje nowych sposobów na tworzenie wydajnych rozwiązań. Jednym z nich jest wdrożenie przetwarzania brzegowego (edge computing), które pozwala na szybsze przetwarzanie danych, dzięki temu, że obliczenia są wykonywane bezpośrednio w urządzeniu czy na lokalnym serwerze. Innym rozwiązaniem, które pozwala z łatwością zarządzać różnymi typami danych, jest oprogramowanie do pozyskiwania danych (data ingest sotware).
OpenPipeline to technologia przetwarzania strumieniowego, którą użytkownik może samodzielnie konfigurować. Znacząco zmienia sposób, w jaki platforma Dynatrace pozyskuje dane – możemy konfigurować źródła oraz interpretować i transformować różne formaty danych. Rozwiązanie zaprojektowano tak, aby wydajnie działało nawet w skali petabajtów przetwarzanych danych. Pozyskane dane przechodzą przez dostosowane do potrzeb pipeline’y, które zmieniają dane w wybrany sposób czy wyodrębniają fragmenty wraz z kontekstem i przekształcają je w nowe formaty, na przykład dane z logów zamieniane są na metryki. Dzięki transformacji danych przed zapisem możliwe jest obniżenie kosztów przechowywania danych nawet o 99% – mówi Paweł Pszczoliński, lider zespołu i starszy inżynier oprogramowania w Dynatrace.
Takie rozwiązania nie tylko pomagają firmom zarządzać znacznymi ilościami danych w różnych formatach, lecz także zachowują ich kontekst poprzez wzbogacenie ich o metadane i łączenie z innymi źródłami. To pozwala poddać je analizie i automatyzacji opartej na sztucznej inteligencji, co może przynieść wcześniej nieosiągalne wnioski i pozwolić biznesowi zyskać przewagę w dzisiejszym opartym na danych świecie.
Big data to nie tylko technologia
Wraz ze wzrostem ilości danych mierzymy się również z wyzwaniem ich ochrony. Regulacje, takie jak RODO w Unii Europejskiej, wyznaczają rygorystyczne standardy w tym obszarze. Najlepsze praktyki w zakresie cyberbezpieczeństwa, w tym regularne audyty, szkolenia pracowników i zaawansowane techniki szyfrowania, są niezbędne do uniknięcia naruszenia danych. Oprogramowanie do przetwarzania strumieniowego, takie jak OpenPipeline, w tym kontekście może być również pomocne – umożliwiając maskowanie danych od razu przy ich przechwytywaniu, pozwala dodatkowo zadbać o ich bezpieczeństwo poprzez szyfrowanie, czy filtrowanie. To zapewnia bezproblemowe dostosowanie poziomu ochrony danych do wymogów zgodnych z zasadami compliance.
Mówiąc o centrach danych, nie można nie wspomnieć o ich wpływie na środowisko. Innowacje w zakresie energooszczędnych technologii i wykorzystania odnawialnych źródeł energii mają kluczowe znaczenie dla zmniejszenia śladu węglowego rosnącej infrastruktury. Centra danych są jednym z czynników wzrostu zapotrzebowania na energię elektryczną na świecie. Przy szacowanym zużyciu na poziomie 460 terawatogodzin (TWh) w 2022 r., ich całkowite zużycie energii elektrycznej ma przekroczyć 1000 TWh do 2026 r. Inicjatywy Dynatrace, takie jak Carbon Impact App i OpenPipeline, wskazują, w którą stronę powinny rozwijać się nowoczesne technologie ICT, tak aby oprócz osiągania coraz większej efektywności, mogły redukować wpływ na środowisko naturalne.
Przyszłość danych
Ilość danych produkowanych na całym świecie wciąż rośnie, co sprawia, że innowacyjne rozwiązania mają kluczowe znaczenie dla efektywnego zarządzania nimi i dbania o bezpieczeństwo użytkowników. Poleganie na technologiach niedostosowanych do dzisiejszych standardów może stanowić poważne wyzwanie dla firm, które chcą pozostać konkurencyjne. Przetwarzanie strumieniowe może być odpowiedzią na te wyzwania, dając biznesowi narzędzia do obsługi niespotykanych dotąd ilości danych i ograniczając negatywny wpływ technologii na środowisko.
