CONFERENCEDatu noliktavas adaptācija lielo datu lietojumiem
Projekta nosaukums: Datu noliktavas adaptācija lielo datu lietojumiem
Projekta līguma numurs: 1.1.1.2/VIAA/1/16/057
Projekta sadarbības partneris: Politechnika Poznańska (Poznan University of Technology)
Projekta īstenošanas termiņš: 01.11.2017.-31.10.2020.
Projekta kopējais finansējums, LU daļa: 133 806,00 EUR (no LU bāzes finansējuma centralizētajiem līdzekļiem 6 690,30 EUR)
Projekta mērķis: izstrādāt datu noliktavas risinājumu lielo datu lietojumiem, kas spēj pielāgoties mainīgām lietotāju prasībām un izmaiņām datu noliktavas datu avotos
Projekta rezultāti: 7 zinātniskās publikācijas, kas tiks indeksētas Web of Science vai SCOPUS datubāzēs; programmatūras prototips; citi pētījuma specifikai atbilstoši projekta rezultāti (pārskati, arhitektūras projektējums, metadatu modelis, algoritma apraksts u.c.)
Informācija par projekta īstenošanu: pētījuma ietvaros tiks veiktas sekojošas darbības:
1. Esošo lielo datu tehnoloģiju un datu noliktavas evolūcijas atbalsta risinājumu izpēte ar mērķi noskaidrot iespējamību esošo risinājumu atkalizmantošanai, un mūsdienu tendencēm atbilstošas datu noliktavas arhitektūras projektējums lielo datu lietojumiem;
2. Metadatu modeļu būvēšana, kas aprakstīs datu noliktavu, lietotāju prasības, avota datus un izmaiņas, lai nodrošinātu pusautomātisko evolūcijas notveršanu un īstenošanu;
3. Inovatīvo algoritmu izstrāde automātiskai vai pusautomātiskai izmaiņu notveršanai un apstrādei;
4. Programmatūras prototipa implementēšana, kurā tiks aprobēti pētījumā piedāvātie risinājumi, un risinājumu izvērtējums.
Laika posmā no 01.11.2017. līdz 30.04.2018. veiktās darbības:
Projekta sākumposmā tiek veikta zinātniskās literatūras izpēte par datu noliktavas arhitektūrām lielo datu ekosistēmās un evolūcijas atbalstu datu noliktavās lielo datu lietojumiem. Tiek aplūkoti arī raksti par lielo datu integrāciju no vairākiem datu avotiem analīzes mērķiem un evolūciju integrācijas kontekstā, lai izanalizētu iespējas pielāgot datu integrācijas jomas risinājumus datu noliktavas lietojumiem. Tika sagatavots pārskats ar pieeju un tehnoloģisko risinājumu salīdzinošo analīzi datu noliktavām lielo datu lietojumiem. Balstoties uz izveidoto pārskatu tiek gatavots zinātniskais pārskata raksts.
Tika izstrādāts zinātniskais raksts "Architecture Enabling Adaptation of Data Integration Processes for a Research Information System", kurā tika piedāvāta integrācijas sistēmas arhitektūra, kas atbalsta datu avotu un informācijas prasību evolūciju. Raksts pieņemts publicēšanai žurnālā "Foundations of Computing and Decision Sciences" un parādīsies 2018. gada jūnija numurā. Žurnāla mājas lapa https://www.degruyter.com/view/j/fcds.
Tika sagatavots un noprezentēts referāts "Datu noliktavas adaptācija lielo datu lietojumiem" Latvijas Universitātes 76. zinātniskajā konferencē. Konferences programma pieejama tiešsaistē - www.lu.lv/konference/programma.
Tika noprojektēta datu noliktavas evolūcijas arhitektūras pirmā versija, kas tika atspoguļota zinātniskajā rakstā, kas tika iesniegts recenzēšanai starptautiskajā konferencē.
Laika posmā no 01.05.2018. līdz 31.07.2018. veiktās darbības:
Projekta trešajā ceturksnī tika pabeigts datu noliktavas arhitektūras projektējums. Arhitektūra būs spējīga nodrošināt lielo datu analīzes iespējas un pielāgoties mainīgām analīzes prasībām un evolūcijai. Balstoties uz arhitektūras projektējumu, tika izstrādātais raksts par datu noliktavas arhitektūru lielo datu pārvaldībai (“Towards a Data Warehouse Architecture for Managing Big Data Evolution”), kas tika nopublicēts starptautiskās konferences par datu zinātni, tehnoloģijām un lietojumiem DATA 2018 rakstu krājumā (saite uz rakstu). Konferencē DATA 2018 tika noprezentēts stenda referāts un novadīta sesija par datu analītiku.
Tika sagatavots un iesniegts Eiropas biznesa informācijas un lielo datu vasaras skolai pārskats par pēcdoktorantūras projektā veiktiem pētījumiem. Pēc Eiropas biznesa informācijas un lielo datu vasaras skolas programmas komitejas recenzēšanas pārskats tika akceptēts, kā pilnais mutiskais referāts. Vasaras skolā tika apmeklētas atzīstāmo zinātnieku lekcijas par procesu izraci, reāla laika datu izraci, sociālo tīklu datu analīzi, rekomendāciju sistēmu novērtēšanu, personalizētu šablonu izraci, sensoru datu analīzi, mašīnmačīšanas vizualizāciju. Tika noprezentēts referāts par datu noliktavas arhitektūru lielo datu evolūcijas pārvaldībai.
Tika uzsākta literatūras meklēšana par metadatu noskaidrošanu daļēji strukturētiem un nestrukturētiem datiem, tai skaitā ar meta-mācīšanos metodi. Šādi metadati būs nepieciešami projekta ietvaros izstrādātajam risinājumam, lai aprakstītu datu avotus un noteiktu izmaiņas tajos. Raksti tiek meklēti datu bāzēs Scopus, Web of Science, Google Scholar.
Tika sagatavots un iesniegts Eiropas biznesa informācijas un lielo datu vasaras skolai pārskats par pēcdoktorantūras projektā veiktiem pētījumiem. Pēc Eiropas biznesa informācijas un lielo datu vasaras skolas programmas komitejas recenzēšanas pārskats tika akceptēts, kā pilnais mutiskais referāts. Vasaras skolā tika apmeklētas atzīstāmo zinātnieku lekcijas par procesu izraci, reāla laika datu izraci, sociālo tīklu datu analīzi, rekomendāciju sistēmu novērtēšanu, personalizētu šablonu izraci, sensoru datu analīzi, mašīnmačīšanas vizualizāciju. Tika noprezentēts referāts par datu noliktavas arhitektūru lielo datu evolūcijas pārvaldībai.
Tika uzsākta literatūras meklēšana par metadatu noskaidrošanu daļēji strukturētiem un nestrukturētiem datiem, tai skaitā ar meta-mācīšanos metodi. Šādi metadati būs nepieciešami projekta ietvaros izstrādātajam risinājumam, lai aprakstītu datu avotus un noteiktu izmaiņas tajos. Raksti tiek meklēti datu bāzēs Scopus, Web of Science, Google Scholar.