1. Co to jest usługa ATOM ?
Usługa ATOM to w skrócie usługa pobierania zmieniających się treści. Klient usługi czyli program na komputerze co jakiś czas odpytuje usługę na serwerze pobierając mały plik XML. Zawiera on informację o tym jakie dane są dostępne, kiedy zostały aktualizowane i co zawierają. W momencie gdy dostawca danych zmienia pliki u siebie na serwerze, aktualizuje również automatycznie plik opisujący te dane wskutek czego klient po następnym pobraniu pliku XML i porównaniu z poprzednim informuje nas o zmianie.
Nie znam prostego klienta usługi ATOM który pobiera dane geoprzestrzenne serwowane w Polsce automatycznie. Mając nieco większą wiedzę informatyczną można wyprodukować sobie taki program np w ETL lub ręcznie przebijać się przez XML, które definiują dane wyłuskując z nich linki do pobrania danych.
2. Ręczne pozyskanie danych z usługi ATOM
Na przykładzie danych ATOM PRG CODGiKu prześledźmy jak pobrać dane ręcznie.
Po otwarciu danych PRG dystrybuowanych za pomocą usługi ATOM (dostęp 01.07.2017) w przeglądarce internetowej wyszukujemy ciąg znaków „alternate”. Z zaznaczonych wyników interesuje nas tylko znacznik link który znajduje się w znaczniku entry na obrazku poniżej na czerwono.
Kopiujemy i uruchamiamy dane z atrybutu href znacznika link powyżej – zaznaczenie na niebiesko na obrazku powyżej.
Otwieramy stronę z linku skopiowanego powyżej w przeglądarce. Szukamy w znaczniku entry linków do danych jak na poniższym obrazku:
Uruchamiając każde odesłanie zawarte w atrybutach href znaczników link pobieramy dane.
3. Klient usługi ATOM INSPIRE
Powyższy ręczny sposób pobierania danych jest nieco kłopotliwy i czasochłonny więc dalsze analizy będę prowadził w oparciu o klienta którego napisałem. Wówczas pobieranie danych np. dla danych katastralnych wygląda tak:
4. Problemy z usługą ATOM
- Głównym problemem jest brak dostępnego powszechnie klienta dla usługi umożliwiającego automatyczne pobieranie danych.
- Brak aktualizowania daty aktualizacji w ATOM stawia pod znakiem zapytania sensowność pobierania danych za pomocą tej usługi. Skoro nie wiem na podstawie dat czy dane się zmieniły musiałbym za każdym razem pobierać dane żeby to sprawdzić. Według metadanych dane PRG zostały ostatnio zaktualizowane w 2016 roku.
- Brak jest jednej standardowej zasady udostępnienia danych. Np BDOO udostępniane jest nie wiadomo czemu za pomocą poszczególnych warstw w każdym województwie, a już PRG można pobrać tylko jako zbiorczą kilkugigabajtową paczkę podzieloną tylko na poszczególne zip zawierającą wszystko bez informacji co się kiedy zmieniło.
- Dane udostępniane za pomocą usługi ATOM nie są aktualizowane natychmiast – np punkty adresowe w PRG umieszczone na stronie codgik.gov.pl potrafią być w innej wersji niż te z usługi ATOM. Wygląda na to jakby ktoś kopiował dane do katalogu z usługą ręcznie, a nie działał tam żaden mechanizm automatyczny, który powinien zasilać takie dane po zmianie.
- Statystyki geoportalu są nieprawdziwe – przez ostatnie dwa miesiące w ramach testu klienta i pracy z danymi pobrałem kilka GB danych z danymi katastralnymi a statystyki na stronie geoportalu wskazują 0b przy usłudze ATOM za to odpowiedzialnej.
- Problem z jakością danymi serwowanymi za pomocą tej usługi. Skoro nikt nie może ściągnąć danych bo nie ma klienta nikt nie zobaczy błędów. Skoro nikt nie zobaczy błędów, nikt ich nie zgłosi do poprawy. I tak sobie wiszą.
Przykład jakości udostępnianych danych:
http://mapy.geoportal.gov.pl/wss/service/ATOM/httpauth/atom/JednostkiAdministracyjne zawiera w sobie pojedynczy GML z różną kolejnością danych xy poszczególnych obiektów dla profilu INSPIRE 4.0
5. Skąd wziąć adresy do usług ATOM ?
Teoretycznie wszystkie usługi ATOM i ich adresy można wykryć za pomocą głównego punktu dostępowego jakim jest geoportal.gov.pl Po to są właśnie opcje wyszukiwania metadanych w tym portalu. Teoretycznie. Zobaczcie na poniższym filmie.
Niestety metadane w geoportal.gov.pl wskazują na inne adresy usług i stare dane lub odwołują się do adresów które już nie istnieją np. http://mapy.geoportal.gov.pl/wss/service/ATOM/httpauth/atom/CODGIK_BDOO_old
Adresy usług ATOM które możecie użyć znajdują się na http://www.geoportal.gov.pl/usluga-pobierania-atom lub poprzez wyszukiwanie słowa ATOM na portalu danepubliczne.gov.pl
6. Zasoby w internecie
Artykuł o tym co to jest ATOM i co możecie pobrać znajduje się również na stronie bloga firmy GIS SUPPORT.
7. Postulaty
Dobrze by było gdyby Ministerstwo Cyfryzacji patronujące obecnie Infrastrukturze Informacji Przestrzennej opracowało, opublikowało i stosowało wraz z GUGiK zasady publikowania danych i aktualizowania istniejących zasobów w sieci ze szczególnym uwzględnieniem usług geoportalu dla danych PZGiK. Zaktualizowanie metadanych w usłudze wyszukiwania również jest niezbędne żeby systemy mogły w miarę autonomicznie łączyć się z innymi danymi i usługami. O jakości danych w usługach nie wspominając. I to jest potrzebne tu i teraz.