Automatyzacja analizy plików PDF i geokodowania w QGIS za pomocą Bielika i usługi ULDK.

Wielokrotnie słyszałem, że informacja rozproszona w postaci elementów lokalizacji zawarta w dokumentach to 80% informacji przestrzennej, która istnieje, lecz ze względu na pracochłonność jej pozyskanie jest problematyczne.

Największym wyzwaniem dla pozyskania takiej informacji nie jest samo rysowanie na mapie, czy geokodowanie, lecz żmudne ręczne wyciąganie informacji z setek, a czasem tysięcy stron dokumentów.

Ze względu na to że nie tak dawno uczestniczyłem w szkoleniu Eskadry Bielika i Google, zacząłem się zastanawiać jakby tu stworzyć jakieś narzędzie, które samo przeczyta dokumenty, przeanalizuje je, a następnie naniesie automatycznie na mapę w QGIS ich zakres przestrzenny.

Dodatkowymi zmiennymi, które brałem pod uwagę, było zachowanie prywatności i bezpieczeństwa przetwarzanych danych, w tym brak zewnętrznego promptowania w procesie przetwarzania oraz oparcie modelu AI wyłącznie o lokalną kartę graficzną w moim laptopie.

Założyłem, że celem takiego narzędzia będzie pobranie ze wskazanego katalogu wszystkich pdf z uchwałami o nadaniu nazw ulic, a następnie ich automatyczne przetworzenie do warstwy poligonowej GIS z wczytaniem do Qgis.

Dowiedz się więcej

Analiza jakości punktów adresowych PRG za pomocą sieci neuronowych GNN.


O punktach adresowych i ich jakości wiele już razy pisałem na tym blogu. W związku z tym, że ostatnio dość intensywnie zajmuję się analizą możliwości użycia różnych rozwiązań opartych o AI w celach automatyzacji monotonnych i czasochłonnych prac, postanowiłem potestować możliwości automatycznej kontroli jakości danych punktów adresowych PRG z GUGiK.

W dniu 26.12.2025 roku pobrałem więc dane adresowe PRG w SHP i zacząłem je przetwarzać w środowisku Pythona. Użyłem ~5.5 mln punktów adresowych, które posiadały identyfikatory miejscowości i ulic, w celu sprawdzenia czy na podstawie tych atrybutów wytrenowany model będzie stanie pokazać punkty odstające. Po kilku próbach z różnymi ustawieniami i parametrami do treningu modelu, uzyskałem wytrenowany model, którym sprawdziłem dane PRG.

W celu wizualizacji wyników wytworzyłem szybki portal z wynikamii analizy. Dla możliwości sprawdzenia poprawności wskazanych błędów dodałem warstwę z WMTS GUGiK z ortofotomapą i usługą WMS PRG, które są widoczne przy dużym powiększeniu.

Dowiedz się więcej

Skorowidz usług pobierania WFS dla tematu działek wytworzony z EZiU GUGiK

EZiU czyli Ewidencja Zbiorów i Usług to rejestr, który prowadzi Główny Geodeta Kraju pod adresem https://integracja.gugik.gov.pl/eziudp

Rejestr ten jest skorowidzem adresów wszystkich usług sieciowych dla zgłoszonych zbiorów danych geoprzestrzennych prowadzonych przez administrację państwową, dzięki któremu można znaleźć aktualny adres usługi, która nas interesuje z danego zakresu, miejsca i tematu.

Ponieważ od jakiegoś czasu szczegółowo przyglądam się jakości i zawartości usług sieciowych postanowiłem podzielić się z Wami zrzutem stanu polskich usług sieciowych dla tematu 1.6 (działki ewidencji gruntów) czyli skorowidzem tego co można znaleźć w usługach pobierania powiatów serwujących dane EGiB.

Tabela w poniższym linku pozwoli Wam dla danej usługi pobierania z EZiU określić jakie posiada warstwy, strukturę oraz jaki format pobrania jest możliwy do użycia oraz pokaże czy usługa nie zgłaszała w momencie testów błędów.

Dowiedz się więcej

Analiza ulic pobranych z usług WFS EMUiA z danymi PRG GUGiK

Po poprzedniej analizie aktualności punktów adresowych na podstawie wersji zawartej w plikach GML, pora na bezpośrednie porównanie danych zawartych w usługach WFS EMUiA i odpowiadających im danych pobranych z PRG. Jest to drugi wpis z zaplanowanych czterech postów o jakości danych adresowych w Polsce.

Założenie

Należało porównać geometrie ulic występujące w kilku tysiącach usług WFS Ewidencji Miejscowości Ulic i Adresów z zebranymi przez Główny Urząd Geodezji i Kartografii danymi zawartymi w Państwowym Rejestrze Granic.

Dowiedz się więcej

Aktualność danych w Państwowym Rejestrze Gruntów (PRG) określona na podstawie wersji punktów adresowych.

Rejestr PRG – adresy

Dane adresowe PRG są danymi integrowanymi przez Główny Urząd Geodezji i Kartografii (GUGiK) z danych pozyskiwanych przez gminy w drodze zgłoszeń punktów adresowych oraz uchwał o nadaniu i przebiegu ulic, które są uchwalane przez rady gminy oraz przekazywanych do systemu GUGiK przez systemy gmin.

PRG jest kluczowym rejestrem referencyjnym dla wielu systemów w tym tych związanych z zarządzaniem kryzysowym.

Jednym z istotnych elementów jakości tego rejestru jest aktualność danych, która ma bezpośredni wpływ na użyteczność informacji wykorzystywanych przez administrację publiczną, firmy prywatne i obywateli.

Różnice w PRG i EMUiA

W związku z zauważonymi przeze mnie różnicami występującymi w danych serwowanych przez usługi WFS gmin zawierającymi dane adresowe, a zebranymi w PRG danymi serwowanymi przez GUGiK stanąłem przed dylematem jak ustalić aktualność danych zawartych w paczce PRG pobranej z geoportalu.

Dowiedz się więcej

Walidacja plików XML/GML – dlaczego jest potrzebna ?

[Aktualizacja 26-07-2018]

Jak już wspomniałem na tym blogu walidacja danych xml / gml za pomocą schematu XSD polega na sprawdzeniu zgodności struktury i warunków zapisanych w schemacie z zapisanymi w pliku xml zagnieżdżeniami i wartościami atrybutów oraz elementów.

Walidacja jest operacją automatyczną sprawdzającą plik i dającą jednoznaczny wynik „spełnia” lub „nie spełnia”. Nie powinno się dać również w procesie walidacji wyłączyć warunków ze schematu nie zmieniając go. Gwarantuje to z dość dużą pewnością że pliki

Dowiedz się więcej

Punkty adresowe PRG – kody pocztowe analiza jakości REGEX

Dzisiaj krótki wpis o jakości danych kodów pocztowych w punktach adresowych PRG.

Kod pocztowy w Polsce w zasadzie każdy wie jak wygląda – to dwie cyfry kreska trzy cyfry czyli np. 80-210. Będąc ciekawym jak wygląda jakość w danych punktów adresowych PRG (dane dostępne tutaj) zrobiłem małą analizę za pomocą funkcji REGEX. Odrzuciłem wszystkie kody pocztowe o prawidłowej strukturze oprócz 00-000, który nie istnieje i wygenerowałem z nich bazę geopackage z kodami pocztowymi wątpliwej jakości, którą możecie pobrać tutaj.

Dowiedz się więcej

Infrastruktura informacji przestrzennej po polsku. Część 2 – Dane EMUiA Geo-Systemu

Po pierwszym wpisie dostępnym tutaj w którym opisałem trudy związane z pozyskaniem prawidłowego schematu XSD dla danych EMUiA pora na analizę i przetworzenie zawartości plików z wszystkich gmin rejestru EMUiA  udostępnianych przez Geo-System.

W celu przetworzenia danych EMUiA dla całej Polski  od Geo-Systemu użyłem całości danych dostępnych na stronie http://danepubliczne.punktyadresowe.pl/ dostęp 04.02.2017r.

Celem przetworzenia było uzyskanie jednej ciągłej warstwy ze wszystkich gmin zawierającej punkty adresowe, ulice,

Dowiedz się więcej

Infrastruktura informacji przestrzennej po polsku. Część 1 – Dane EMUiA w poszukiwaniu zaginionego schematu XSD

Teoretycznie każda gmina w Polsce prowadzi Ewidencję Miejscowości Ulic i Adresów zwaną EMUiA. Każda z gmin prowadzi ją w dowolnie wybranym przez siebie systemie (i dobrze), który powinien wydawać takie same dane GML w schemacie danych opisanym w rozporządzeniu. W idealnym teoretycznym modelu prawnym powinniśmy więc otrzymać dane z każdej gminy zapisane w jednakowej strukturze.

Ze względu na to że firma Geo-System opublikowała dostęp do danych EMUiA dla gmin prowadzonych w systemie IMPA (duże brawa) postanowiłem zobaczyć jak wyglądają dane w

Dowiedz się więcej

Usługi słownikowe GUGiK część 1 – pobieranie danych XML na podstawie TERYT

We wcześniejszych wpisach o punktach adresowych pokazywałem jak pobrać przetworzone dane adresowe z rejestru PRG oraz przeprowadzałem ich analizę.

Dzisiaj w związku z tym, że niektóre rejestry odwołują się referencyjnie wprost do rejestru EMUiA pokażę jak za pomocą protokołu SOAP usługi słownikowej pobrać na podstawie numeru TERYT dane dotyczące województwa w zakresie ulic i punktów.

Dowiedz się więcej