Automatyzacja analizy plików PDF i geokodowania w QGIS za pomocą Bielika i usługi ULDK.

Wielokrotnie słyszałem, że informacja rozproszona w postaci elementów lokalizacji zawarta w dokumentach to 80% informacji przestrzennej, która istnieje, lecz ze względu na pracochłonność jej pozyskanie jest problematyczne.

Największym wyzwaniem dla pozyskania takiej informacji nie jest samo rysowanie na mapie, czy geokodowanie, lecz żmudne ręczne wyciąganie informacji z setek, a czasem tysięcy stron dokumentów.

Ze względu na to że nie tak dawno uczestniczyłem w szkoleniu Eskadry Bielika i Google, zacząłem się zastanawiać jakby tu stworzyć jakieś narzędzie, które samo przeczyta dokumenty, przeanalizuje je, a następnie naniesie automatycznie na mapę w QGIS ich zakres przestrzenny.

Dodatkowymi zmiennymi, które brałem pod uwagę, było zachowanie prywatności i bezpieczeństwa przetwarzanych danych, w tym brak zewnętrznego promptowania w procesie przetwarzania oraz oparcie modelu AI wyłącznie o lokalną kartę graficzną w moim laptopie.

Założyłem, że celem takiego narzędzia będzie pobranie ze wskazanego katalogu wszystkich pdf z uchwałami o nadaniu nazw ulic, a następnie ich automatyczne przetworzenie do warstwy poligonowej GIS z wczytaniem do Qgis.

Dowiedz się więcej

Analiza jakości punktów adresowych PRG za pomocą sieci neuronowych GNN.


O punktach adresowych i ich jakości wiele już razy pisałem na tym blogu. W związku z tym, że ostatnio dość intensywnie zajmuję się analizą możliwości użycia różnych rozwiązań opartych o AI w celach automatyzacji monotonnych i czasochłonnych prac, postanowiłem potestować możliwości automatycznej kontroli jakości danych punktów adresowych PRG z GUGiK.

W dniu 26.12.2025 roku pobrałem więc dane adresowe PRG w SHP i zacząłem je przetwarzać w środowisku Pythona. Użyłem ~5.5 mln punktów adresowych, które posiadały identyfikatory miejscowości i ulic, w celu sprawdzenia czy na podstawie tych atrybutów wytrenowany model będzie stanie pokazać punkty odstające. Po kilku próbach z różnymi ustawieniami i parametrami do treningu modelu, uzyskałem wytrenowany model, którym sprawdziłem dane PRG.

W celu wizualizacji wyników wytworzyłem szybki portal z wynikamii analizy. Dla możliwości sprawdzenia poprawności wskazanych błędów dodałem warstwę z WMTS GUGiK z ortofotomapą i usługą WMS PRG, które są widoczne przy dużym powiększeniu.

Dowiedz się więcej

Analiza ulic pobranych z usług WFS EMUiA z danymi PRG GUGiK

Po poprzedniej analizie aktualności punktów adresowych na podstawie wersji zawartej w plikach GML, pora na bezpośrednie porównanie danych zawartych w usługach WFS EMUiA i odpowiadających im danych pobranych z PRG. Jest to drugi wpis z zaplanowanych czterech postów o jakości danych adresowych w Polsce.

Założenie

Należało porównać geometrie ulic występujące w kilku tysiącach usług WFS Ewidencji Miejscowości Ulic i Adresów z zebranymi przez Główny Urząd Geodezji i Kartografii danymi zawartymi w Państwowym Rejestrze Granic.

Dowiedz się więcej

Walidacja plików XML/GML – dlaczego jest potrzebna ?

[Aktualizacja 26-07-2018]

Jak już wspomniałem na tym blogu walidacja danych xml / gml za pomocą schematu XSD polega na sprawdzeniu zgodności struktury i warunków zapisanych w schemacie z zapisanymi w pliku xml zagnieżdżeniami i wartościami atrybutów oraz elementów.

Walidacja jest operacją automatyczną sprawdzającą plik i dającą jednoznaczny wynik „spełnia” lub „nie spełnia”. Nie powinno się dać również w procesie walidacji wyłączyć warunków ze schematu nie zmieniając go. Gwarantuje to z dość dużą pewnością że pliki

Dowiedz się więcej

Infrastruktura informacji przestrzennej po polsku. Część 1 – Dane EMUiA w poszukiwaniu zaginionego schematu XSD

Teoretycznie każda gmina w Polsce prowadzi Ewidencję Miejscowości Ulic i Adresów zwaną EMUiA. Każda z gmin prowadzi ją w dowolnie wybranym przez siebie systemie (i dobrze), który powinien wydawać takie same dane GML w schemacie danych opisanym w rozporządzeniu. W idealnym teoretycznym modelu prawnym powinniśmy więc otrzymać dane z każdej gminy zapisane w jednakowej strukturze.

Ze względu na to że firma Geo-System opublikowała dostęp do danych EMUiA dla gmin prowadzonych w systemie IMPA (duże brawa) postanowiłem zobaczyć jak wyglądają dane w

Dowiedz się więcej

Usługi Słownikowe GUGiK część 2 – przetwarzanie danych XML za pomocą Talend Open Studio Data Integration

Pobrane za pomocą usługi WSDL dane z usługi słownikowej GUGiK z poprzedniego wpisu możemy spróbować przetworzyć do postaci pliku csv np przy pomocy programu typu ETL. Użyjemy w tym celu programu Talend Open Studio Data Integration w jego darmowej wersji  który można go pobrać tutaj. Do działania programu musi być zainstalowana na komputerze java, którą można znaleźć tutaj.

Spróbujmy przetworzyć dane z ulicami, które pobraliśmy z serwera. Otwierając pobraną paczkę zip zobaczymy tam dużą ilość xml o takiej samej  strukturze, które zawierają ulice dla

Dowiedz się więcej

Usługi słownikowe GUGiK część 1 – pobieranie danych XML na podstawie TERYT

We wcześniejszych wpisach o punktach adresowych pokazywałem jak pobrać przetworzone dane adresowe z rejestru PRG oraz przeprowadzałem ich analizę.

Dzisiaj w związku z tym, że niektóre rejestry odwołują się referencyjnie wprost do rejestru EMUiA pokażę jak za pomocą protokołu SOAP usługi słownikowej pobrać na podstawie numeru TERYT dane dotyczące województwa w zakresie ulic i punktów.

Dowiedz się więcej

Analiza spójności wewnętrznej danych na przykładzie relacji punktów adresowych do ulic z PRG

Dzisiaj tylko krótki film pokazujący jak wyglądają zwizualizowane  relacje w danych oczywiście przy użyciu kilku „hobbystycznych” technik jakby to pewni ludzie w Warszawie powiedzieli. W ramach testów wydajnościowych pewnego rozwiązania z ponad 41 mln relacji występujących w danych dla punktów adresowych w całej Polsce wybrałem i zwizualizowałem te, które dotyczą ulic. Te które

Dowiedz się więcej

Darmowe dane CODGiK – PRG to nie tylko punkty adresowe.

Centralny Ośrodek Dokumentacji Geodezyjnej i Kartograficznej udostępnia dane Państwowego Rejestru Granic na swojej stronie za darmo. Mało kto wie, że pod jakże mylącym opisem linku punkty adresowe znajduje się w spakowanych plikach GML rejestr (uwaga duży plik), który zawiera również inne dane.

Najprościej byłoby oczywiście zorientować się w zawartości pliku XML

Dowiedz się więcej