Procesy przetwarzania danych

Nie musisz znać języków programowania, by samodzielnie tworzyć procesy przetwarzania i wydobywać z danych to, co dla Ciebie i Twojego zakładu produkcyjnego najważniejsze. Pomoże Ci w tym kreator ETL (ang. Extraction, Transformation and Load), w którym za pomocą elementów (tzw. węzłów przetwarzania) działających na zasadzie „przeciągnij i upuść” (drag&drop) stworzysz samodzielnie (lub ze wsparciem naszych ekspertów) własny proces. Możesz również skorzystać z gotowych szablonów wbudowanych w system IPLAS. 

Po uruchomieniu procesu z napływających strumieni danych przemysłowych otrzymasz to, co dla Ciebie najważniejsze – wiedzę, która pozwoli Ci usprawnić produkcję w Twoim zakładzie. To tutaj utworzysz indywidualny system alarmów i powiadomień, zweryfikujesz i zagregujesz dane. A co, jeśli w pewnym momencie stwierdzisz, że w ramach jednego procesu chciałbyś analizować coś innego? Nie ma problemu! Możesz go elastycznie modyfikować. Zobacz, jak to działa.

Przykład budowy procesu ETL

Zobacz, jak zbudowaliśmy prosty proces ETL, który generuje, a następnie zapisuje do bazy danych sumy wyprodukowanych sztuk w ramach zmiany dla konkretnej maszyny. 

Kilka słów wyjaśnienia do powyższego materiału wideo:

  • Dane wejściowe
  • Wykorzystane węzły i ich zastosowanie
  • Efekt

Zmienna określająca liczbę sztuk wyprodukowanych w pewnych okresach.

Węzeł 1. Kanał wejściowy, określa się w nim dane wejściowe oraz ich źródło, przekazuje zmienne na podstawie których tworzona jest pozostała część procesu przetwarzania.

Węzeł 2. Stempel czasowy, użytkownik określa dodatkowe zmienne tworzone na podstawie czasu wygenerowania ramek. Węzeł dodaje do procesu przetwarzania zmienne dotyczące czasu.

Węzeł 3. Zmiany pracy, ustala się w nim godziny pracy poszczególnych zmian oraz wybiera zmienne wynikowe, które ich dotyczą. Generuje nowe zmienne pozwalające określić dane dotyczące zmian.

Węzeł 4. Grupowanie, wybiera się w nim typ agregacji oraz zmienne grupujące dzielące dane na pewne grupy np. sumę wartości zmiennych dla podanych numerów zmian pracy.

Węzeł 5. Tabela wynikowa, tutaj określa się bazę danych, miejsce docelowe oraz przypisuje zmienne do konkretnych kolumn. Na podstawie danych zapisanych w bazie generowane są analizy.

Efektem są przetworzone, znajdujące się w bazie danych wartości, potrzebne do utworzenia analizy. Dane przedstawiają sumę wyprodukowanych sztuk dla poszczególnych zmian.

Dane wygenerowane przez proces ETL można zaprezentować na analizie, co zostało pokazane na filmie .

Dokumentacja

W graficznym kreatorze ETL wybierasz, a następnie przeciągasz do obszaru roboczego elementy, z których tworzysz własny proces przetwarzania danych.  Te wszystkie „bloczki”, „kwadraciki” czy jakkolwiek inaczej je określisz, to tzw. węzły przetwarzania. Można je podzielić na 4 kategorie ze względu na działanie: węzły wejściowe, filtry, transformacje i węzły wynikowe. Poniżej znajdziesz opis, dostępne opcje oraz przykład zastosowania każdego z nich. Jeśli coś jest dla Ciebie nadal niejasne, nie wahaj się do nas napisać: iplas@spiid.pl.

  • Węzły wejściowe
  • Filtry
  • Transformacje
  • Węzły wynikowe

Węzły wejściowe (Kanał wejściowy), odpowiadają za wprowadzenie zmiennych wejściowych do procesu przetwarzania.

Filtry (Ostatnie ramki, Wartości wymagane), pozwalają na utrzymanie tylko bieżących danych, optymalizują przetwarzanie.

Transformacje (Grupowanie, Wyznaczanie przyrostów), przetwarzają dane, generują nowe zmienne na podstawie zmiennych wejściowych.

Węzły wynikowe (Tabela wynikowa), służą do zapisania wyników procesu przetwarzania.