Skip to main content

Geospatial Insights avattu: Excel-tietojen integrointi Supersetiin FME:n avulla.

Konteksti ja tapaustutkimus

Nykypäivän kukoistavassa business intelligence -ympäristössä Superset erottuu edukseen monipuolisena, verkkopohjaisena ratkaisuna, joka on ihanteellinen FME-käyttäjille.

Huolimatta BI-työkalujen yleisyydestä, Excelin joustavuus on edelleen tärkeä.

Tässä opetusohjelmassa näytämme sinulle, kuinka Excel-tiedot integroidaan saumattomasti Superset-järjestelmään, mikä avaa tehokkaita geospatiaalisia oivalluksia helposti. Käytämme esimerkkinä Helsingin kaupungin monimutkaista Excel-tiedostoa ja keskitymme katujen talvihoitotutkimuksen tietoihin, erityisesti polkupyörien osalta, luodaksemme oivallisen kojetaulun.

Syöttötiedot

VASTAUKSET HELSINGIN KAUPUNGIN TALVIREITTIKUNNOSSAPITOA KOSKEVAAN KYSELYYN

HELSINGIN PYÖRÄRAIDAT 2025

Päävaiheet

  1. Tietojen valmistelu : Lue ja puhdista/mukauta monimutkainen Excel-tiedosto
  2. Geospatiaalinen analyysi : rikasta tietoja geospatiaalisen analyysitekniikan avulla
  3. Supersetin valmistelu : Valmistele tiedot integroitavaksi Supersetiin
  4. Visualisointi : Julkaise tiedot kaavioina Supersetissä käyttämällä Deck.gl- kaavioita parantaaksesi visualisointia.

Tietojen valmistelu: Pelaaminen monimutkaisen Excel-tiedoston kanssa

Ote Excel-tutkimuksesta

Excel-syöttö

Excel-syöte sisältää tiedot, jotka on kerätty kyselystä, jossa vastaajat merkitsivät paikat, joissa he kulkivat autolla, pyörällä tai kävellen, sekä palautetta kohdatuista talvihoitoolosuhteista. Talvihoito on luokiteltu kolmeen osa-alueeseen: luisto (kivet jäällä), lumen auraus (työnnetty sivulle) ja lumen poisto. Sitä voidaan pitää hyvänä tai huonona.

Ilmeisesti web-karttakyselytyökalun viennistä luotu Excel-tiedosto sisältää:

  • Tutkittujen henkilöiden ominaisuudet talletettuna yhdelle arkille.
  • Raportoidut pisteet on luokiteltu talvihoidon tyypin, laadun ja kuljetustavan mukaan (esim. snow_removal_bad_bicycle) jaettuna useille arkille.

Tämä kokoonpano sisältää useita yleisiä haasteita, kuten erikoismerkit (?ä ja välilyönnit) arkkien ja sarakkeiden nimissä, tekstinä esitetyt geometriat, pisteet hajallaan eri arkkeihin useiden attribuuttien sijaan, epätäydelliset tiedot valinnaisissa kentissä ja epätyypilliset attribuuttien arvot.

FME:n tietojen valmistelu

FME on täydellinen tietojen valmisteluun, koska se:

  • Yhdistää tietoja eri lähteistä
  • Tarkistaa määritteiden arvojen tarkkuuden
  • Nimeä attribuutit helposti uudelleen
  • Suodattaa tiedot keskittyäkseen siihen, mitä tarvitaan
  • Muuntaa geometrioita tarpeen mukaan

Tähän tehtävään olemme palkanneet:

  • AttributeCreator luo attribuutteja syöttöarkkien nimien perusteella
  • Liitännät pisteiden yhdistämiseen arkkien välillä
  • GeometryReplacer tulkitsee geometriakentät tarkasti
Tietojen tila valmistelun jälkeen

Rikastuta tietoja geospatiaalisen analyysin avulla

FME:n vaiheet Spatial Merge -toimintoon

Ymmärryksen parantamiseksi pyrimme yhdistämään tutkimuspisteitä vastaaviin reitteihin. Hyödyntämällä Helsingin kaupungin avointa datajoukkoa, jossa hahmotellaan suunnitellut pyöräilyreitit vuodelle 2025, teimme seuraavat vaiheet:

  1. Lue polkutiedot sisältävä shape-tiedosto.
  2. Määritä lähin reitti jokaiseen tutkimuspisteeseen.
  3. Integroi pisteen yksityiskohdat vastaaviin polkuihin.

Tämän prosessin suorittaminen FME:n kanssa sisältää:

  • Lukijan tai Creator + FeatureReaderin käyttäminen tietolähteen määrittämiseen.
  • Koordinaattijärjestelmien johdonmukaisuuden varmistaminen sekä pisteiden että polkujen osalta Reprojectorin avulla.
  • UniqueIdentifierGenerator-muuntajan mahdollistaa yksilöllisten tunnisteiden määrittäminen poluille, jos niitä ei ole.
  • Lähimmän polun tunnistaminen jokaiseen pisteeseen naapurihakijan avulla.
  • Pisteattribuuttien yhdistäminen takaisin polkutietojoukkoon FeatureMerger-muuntajan avulla.

 

  1. Lisää tietojoukkoja ja kaavioita : Tuo tietojoukkosi (taulukko) ja luo kaavioita. Valitse useista Deck.gl -kaaviovaihtoehdoista, jotka sopivat visualisointitarpeisiisi.
Tulos yhdistymisen jälkeen

Supersetin valmistelu

Superset hyväksyy useita muotoja, mutta mielestämme PostgreSQL on kätevintä sen yhteensopivuuden, kyvyn käsitellä suuria määriä ja useiden käyttäjien tuen vuoksi.

Karttakartoissa Supersetin ominaisuudet ovat jonkin verran rajoitetut. Suurin osa niistä käyttää Deck.gl- kehystä. Ensisijaista geometriaesitystä on kolme:

https://deck.gl/docs/api-reference/core/layer

Geometriat

Tällä hetkellä on olemassa 3 erilaista geometriaesitystä:

  • Pisteiden leveys- ja pituusasteet.
  • JSON-pohjainen muoto riveille, dokumentoitu “poluiksi”: [[X0,Y0][X1,Y1],…,[Xn,Yn]].
  • GeoJSON, esitetään joskus tietyissä objekteissa.
{"type":"Feature","properties":{"name":"West Oakland (WOAK)"},"geometry":{"type":"Point","coordinates":[-122.294582, 37.804675]}}

FME:ssä se käännetään seuraavasti:

  • CoordinateExtractorin käyttäminen leveys- ja pituusasteiden poimimiseen.
  • CoordinateConcatenatorin ja AttributeCreatorin käyttäminen polkugeometrian luomiseen.
  • Onnea “Geojsonille”… emme saaneet sitä toimimaan, ei pätevää esimerkkiä 🤷🤷

Colors

As for colors, basic map charts offer limited options for color maps and conditional values. To address this, there are three potential solutions:

  • Utilize JavaScript in Superset, though this deviates from the no-code approach.
  • Use FME to generate and store color values, then call them with a documented JavaScript snippet.
  • Odottele vaan parempaa päivitystä..

FME:ssä vaiheet oikeiden väriarvojen saamiseksi attribuutissa (kutsutaanko sitä väriksi) ovat seuraavat:

  1. FeatureColorSetterin käyttö tietojen värittämiseen (vaihtoehtoja ovat satunnainen, sääntöpohjainen ja rampit).
  2. HTMLColorCalculatorin käyttäminen värien poimimiseksi oikeaan muotoon “väri”-attribuutille.

Esimerkki FeatureColorSetter-asetuksista

Lopputulos FME-katseluohjelmassa

PostgreSQL

Käytännön syistä päätimme tallentaa tietomme johonkin palvelintietokannastamme PostgreSQL:n avulla. FME:n PostgreSQL-kirjoittajat helpottavat taulukoiden luomista ja tietojen käsittelyä saumattomasti ilman SQL-asiantuntemusta. Vaikka monimutkaisemmat tehtävät saattavat vaatia dynaamista SQL-koodin luomista, tällaiset monimutkaisuudet eivät kuulu tämän artikkelin piiriin.

Asetuksissamme loimme kaksi taulukkoa:

  1. snow_plowing_points : Tämä taulukko keskittyy tiettyyn kunnossapitoanalyysin osa-alueeseen, nimittäin lumen auraukseen.
  2. snow_bicycle_ways : Tallennamme tänne pyöräilyreittejä koskevat tiedot ja niiden ylläpitoominaisuudet.

Näiden taulukoiden asettaminen on yksinkertainen prosessi. Muutamalla napsautuksella voit lisätä PostgreSQL-kirjoittimen, määrittää yhteystiedot ja määrittää taulukkojesi attribuutit. FME:n automaatioominaisuuksien ansiosta tämä asennus kestää yleensä noin 2 minuuttia.

Esimerkki taulukon määrittelystä FME:ssä

Julkaise kaavioina Supersetissä Deck.gl-kaavioilla

Esimerkki hallintapaneelista

Kaavioiden julkaiseminen Supersetissä Deck.gl:n avulla parantaa tietojemme visualisointia. Alla on vaiheet interaktiivisen hallintapaneelin luomiseen ja geospatiaaliseen oivalluksiin tutustumiseen:

  • Asenna Superset

https://www.linkedin.com/pulse/installing-apache-superset-docker-widows-os-lasmart-europe-zgkqf/

Windows-ympäristössä suosittelemme telakointiaseman kirjoittamista, kuten yllä olevassa opetusohjelmassa näkyy.

  • Lisää mapbox-tunnus config.py- tiedostoon, jotta näet taustakartan
  • Jos haluat leikkiä omilla väreilläsi polkutiedoilla, aseta tämä arvoksi True samassa konfiguraatiotiedostossa: “ENABLE_JAVASCRIPT_CONTROLS”: True
  • Lisää tietokanta uutena tietojoukona. Asennuksessamme, jossa PostgreSQL on isännöity paikallisella koneellamme, määritämme sen polun käyttämällä host.docker.internal-osoitetta SQLAlchemy-URI:ssa.
  1. Lisää tietojoukkoja ja kaavioita : Tuo tietojoukkosi (taulukko) ja luo kaavioita. Valitse useista Deck.gl -kaaviovaihtoehdoista, jotka sopivat visualisointitarpeisiisi.
  • Kojelaudan luominen : Täydennä kojelautaasi lisäämällä klassisia kaavioita täydentämään geospatiaalisia oivalluksia.
Esimerkki kojetaulusta

Nauti kojelaudan interaktiivisuudesta. Esimerkiksi pivot-taulukkokaavion elementtien napsauttaminen suodattaa automaattisesti muut kaaviot, jotka perustuvat samaan tietojoukkoon.

Johtopäätös

Yhteenvetona voidaan todeta, että Excel-tietojen integrointi Supersetiin FME:n kanssa virtaviivaistaa tietä arvokkaisiin oivalluksiin, erityisesti geospatiaalisen analyysin alalla.

Noudattamalla tässä opetusohjelmassa kuvattuja vaiheita yritykset voivat tehokkaasti muuntaa monimutkaiset tiedot käyttökelpoisiksi visualisoinneiksi. Tietojen puhdistamisesta ja rikastamisesta interaktiivisten kojetaulujen luomiseen tämä lähestymistapa tarjoaa käyttäjäystävällisen ratkaisun merkityksellisten tietojen poimimiseen.

Kun omaksumme nämä työkalut, avaamme mahdollisuudet älykkäämpään päätöksentekoon ja toiminnan tehostamiseen.