Na obrazku poniżej obszary ograniczające kod pocztowy wyznaczone na podstawie ~8mln punktów adresowych z danych PRG GUGiK. Dlaczego jakość tych danych jest ważna ? Ponieważ od nich zależy poprawność geokodowania danych w różnych systemach w tym systemach rządowych.
Widoczne czerwone obszary to obraz błędów, które są ewidentne i spektakularne, natomiast na obrazku nie widać tysięcy błędów, które są widoczne dopiero przy powiększeniu. (przykładowy rysunek poniżej).
Czytaj dalejPo poprzedniej analizie aktualności punktów adresowych na podstawie wersji zawartej w plikach GML, pora na bezpośrednie porównanie danych zawartych w usługach WFS EMUiA i odpowiadających im danych pobranych z PRG. Jest to drugi wpis z zaplanowanych czterech postów o jakości danych adresowych w Polsce.
Należało porównać geometrie ulic występujące w kilku tysiącach usług WFS Ewidencji Miejscowości Ulic i Adresów z zebranymi przez Główny Urząd Geodezji i Kartografii danymi zawartymi w Państwowym Rejestrze Granic.
Czytaj dalejDane adresowe PRG są danymi integrowanymi przez Główny Urząd Geodezji i Kartografii (GUGiK) z danych pozyskiwanych przez gminy w drodze zgłoszeń punktów adresowych oraz uchwał o nadaniu i przebiegu ulic, które są uchwalane przez rady gminy oraz przekazywanych do systemu GUGiK przez systemy gmin.
PRG jest kluczowym rejestrem referencyjnym dla wielu systemów w tym tych związanych z zarządzaniem kryzysowym.
Jednym z istotnych elementów jakości tego rejestru jest aktualność danych, która ma bezpośredni wpływ na użyteczność informacji wykorzystywanych przez administrację publiczną, firmy prywatne i obywateli.
W związku z zauważonymi przeze mnie różnicami występującymi w danych serwowanych przez usługi WFS gmin zawierającymi dane adresowe, a zebranymi w PRG danymi serwowanymi przez GUGiK stanąłem przed dylematem jak ustalić aktualność danych zawartych w paczce PRG pobranej z geoportalu.
Czytaj dalejEwidencja zbiorów i usług to rejestr prowadzony przez Głównego Geodetę Kraju do którego zgłaszane powinny być zbiory danych i usługi sieciowe przeglądania, pobierania, wyszukiwania, przetwarzania i uruchamiania usług przestrzennych, które zostały wytworzone dla danych w ramach grup tematycznych określonych w załączniku nr 1 rozporządzenia poniżej. http://prawo.sejm.gov.pl/isap.nsf/download.xsp/WDU20102011333/O/D20101333.pdf
Ostatnia nowelizacja ww. rozporządzenia wprowadziła obowiązek weryfikacji wpisanych do rejestru usług i zbiorów danych, który został nałożony na głównego geodetę kraju, przy współudziale instytucji zgłaszających zbiory i usługi do ewidencji zbiorów i usług. Przez ostatnie kilka tygodni Czytaj dalej
[Aktualizacja 26-07-2018]
Jak już wspomniałem na tym blogu walidacja danych xml / gml za pomocą schematu XSD polega na sprawdzeniu zgodności struktury i warunków zapisanych w schemacie z zapisanymi w pliku xml zagnieżdżeniami i wartościami atrybutów oraz elementów.
Walidacja jest operacją automatyczną sprawdzającą plik i dającą jednoznaczny wynik „spełnia” lub „nie spełnia”. Nie powinno się dać również w procesie walidacji wyłączyć warunków ze schematu nie zmieniając go. Gwarantuje to z dość dużą pewnością że pliki Czytaj dalej
Dzisiaj krótki wpis o jakości danych kodów pocztowych w punktach adresowych PRG.
Kod pocztowy w Polsce w zasadzie każdy wie jak wygląda – to dwie cyfry kreska trzy cyfry czyli np. 80-210. Będąc ciekawym jak wygląda jakość w danych punktów adresowych PRG (dane dostępne tutaj) zrobiłem małą analizę za pomocą funkcji REGEX. Odrzuciłem wszystkie kody pocztowe o prawidłowej strukturze oprócz 00-000, który nie istnieje i wygenerowałem z nich bazę geopackage z kodami pocztowymi wątpliwej jakości, którą możecie pobrać tutaj.
Czytaj dalejPortal danepubliczne.gov.pl jest portalem który zbiera ogólnodostępne dane np. z administracji publicznej i innych źródeł pozwalając na zintegrowanie ich w jednym miejscu. Prowadzony jest przez Ministerstwo Cyfryzacji w opensourcowym systemie CKAN, który powoli staje się podstawowym programem do publikowania w sieci tego typu danych w Europie.
Na stronie danepubliczne.gov.pl w zakładce baza wiedzy znajduje się artykuł jak korzystać z danych serwisu za pomocą API. CKAN współpracuje z różnymi klientami i językami programowania min. Czytaj dalej
Po pierwszym wpisie dostępnym tutaj w którym opisałem trudy związane z pozyskaniem prawidłowego schematu XSD dla danych EMUiA pora na analizę i przetworzenie zawartości plików z wszystkich gmin rejestru EMUiA udostępnianych przez Geo-System.
W celu przetworzenia danych EMUiA dla całej Polski od Geo-Systemu użyłem całości danych dostępnych na stronie http://danepubliczne.punktyadresowe.pl/ dostęp 04.02.2017r.
Celem przetworzenia było uzyskanie jednej ciągłej warstwy ze wszystkich gmin zawierającej punkty adresowe, ulice, Czytaj dalej
Teoretycznie każda gmina w Polsce prowadzi Ewidencję Miejscowości Ulic i Adresów zwaną EMUiA. Każda z gmin prowadzi ją w dowolnie wybranym przez siebie systemie (i dobrze), który powinien wydawać takie same dane GML w schemacie danych opisanym w rozporządzeniu. W idealnym teoretycznym modelu prawnym powinniśmy więc otrzymać dane z każdej gminy zapisane w jednakowej strukturze.
Ze względu na to że firma Geo-System opublikowała dostęp do danych EMUiA dla gmin prowadzonych w systemie IMPA (duże brawa) postanowiłem zobaczyć jak wyglądają dane w Czytaj dalej
Pobrane za pomocą usługi WSDL dane z usługi słownikowej GUGiK z poprzedniego wpisu możemy spróbować przetworzyć do postaci pliku csv np przy pomocy programu typu ETL. Użyjemy w tym celu programu Talend Open Studio Data Integration w jego darmowej wersji który można go pobrać tutaj. Do działania programu musi być zainstalowana na komputerze java, którą można znaleźć tutaj.
Spróbujmy przetworzyć dane z ulicami, które pobraliśmy z serwera. Otwierając pobraną paczkę zip zobaczymy tam dużą ilość xml o takiej samej strukturze, które zawierają ulice dla Czytaj dalej