Analitika podatkov iz spletnih storitev

integracija-podatkov

TIBCO Spotfire® omogoča povezovanje na različne podatkovne vire, vendar so podatki iz spletnih storitev (Web services) zapisani v oblikah, ki jih ni mogoče brati z običajnimi konektorji. Obenem smo naleteli na potrebo po sistematičnem shranjevanju določenih podatkov v lastno bazo, te podatke pa kasneje primerno analizirati.

Izziv

Izziv pred nami je torej bil, kako podatke iz teh sistemov učinkovito analizirati v TIBCO Spotfire® rešitvah. Pri tem smo imeli na voljo dva podatkovna vira: spletne storitve (web service) ponudnika storitev, ki omogoča nadzor objektov in naprav s funkcijami avtomatskega zbiranja podatkov ter API vremenskih napovedi strani spletnega portala forecast.io. V našem primeru so namreč zabeležene količine močno odvisne od temperatur in vremena na sploh, vremenska napoved pa lahko v veliki meri napove tudi bodoče količine.

integracija-podatkov0

Uporabili smo naslednje rešitve

Za integracijo podatkov smo uporabili:

  • MuleSoft rešitve za integracijo podatkov iz spletnih virov in generiranje baze podatkov
  • TIBCO Spotfire® rešitve za analizo in združevanje teh podatkov ter njihovo vizualizacjo

Primer

Primerjali smo količine in temperaturne ter druge vremenske parametre ter ugotavljali, kako vreme vpliva na dejanske količine.

Vremenski podatki se prenašajo s pomočjo API portala www.forecast.io (https://darksky.net/), katere sistematično prenašamo MSSQL bazo. Te podatke nato uporabimo za analizo v TIBCO Spotfire® rešitvah.

Poglejmo primer:

Stolpci predstavljajo količine, linije pa temperaturne podatke po dnevih. Označimo torej dneve oz. stolpce, ki jih želimo podrobno proučiti.

integracija-podatkov1

Za izbrane dneve nam ikone povedo, kakšno vreme je bilo dejansko oz. je napovedano.

integracija-podatkov2

Ker se temperatura beleži na vsako uro, lahko za posamezni dan podrobno preučimo njen vpliv na količino.

integracija-podatkov3

Poleg temperature so na voljo še drugi podatki o vremenu, na primer intenzivnost padavin, hitrost vetra in podobno. Vse to so dejavniki, ki lahko vplivajo na količine. Podatke lahko preučujemo za nazaj, s pomočjo statističnega modela pa lahko količine napovemo v prihodnost. Glede na pretekle podatke je potrebno zagotoviti tudi druge pomembne vhodne parametre, ki imajo velik vpliv na prikazane količine (npr. časovne profile odjema količin, koledarske dneve, sezonske faktorje, interne napovedi in enkratne dogodke in podobno).

integracija-podatkov4

Bistveno pri tem je, da so podatki na voljo takoj, ko so dosegljivi, brez dodatnega napora, kopiranja in ročnega prenašanja ter njihove obdelave (npr. v excelu), izdelani statistični modeli pa integrirani na način, da je njihova uporaba ponovljiva kadarkoli, rezultati teh modelov pa dosegljivi na enak način kot vse ostale analize.

Za koga so uporabne te rešitve?

Rešitve so zlasti uporabne za energetska podjetja, ki beležijo porabo energije na različnih točkah, podatke pa imajo dostopne preko spletnih storitev. Ukvarjajo se s kratkoročnim napovedovanjem količin, saj imajo lahko napake v napovedih posledice v velikih stroških, napovedovanje pa se izvaja na dnevnem nivoju. Zato je bistvena avtomatizacija teh opravil in čim boljši statistični modeli za napovedovanje podatkov.