Automatyzacja analizy plików PDF i geokodowania w QGIS za pomocą Bielika i usługi ULDK.

Wielokrotnie słyszałem, że informacja rozproszona w postaci elementów lokalizacji zawarta w dokumentach to 80% informacji przestrzennej, która istnieje, lecz ze względu na pracochłonność jej pozyskanie jest problematyczne.

Największym wyzwaniem dla pozyskania takiej informacji nie jest samo rysowanie na mapie, czy geokodowanie, lecz żmudne ręczne wyciąganie informacji z setek, a czasem tysięcy stron dokumentów.

Ze względu na to że nie tak dawno uczestniczyłem w szkoleniu Eskadry Bielika i Google, zacząłem się zastanawiać jakby tu stworzyć jakieś narzędzie, które samo przeczyta dokumenty, przeanalizuje je, a następnie naniesie automatycznie na mapę w QGIS ich zakres przestrzenny.

Dodatkowymi zmiennymi, które brałem pod uwagę, było zachowanie prywatności i bezpieczeństwa przetwarzanych danych, w tym brak zewnętrznego promptowania w procesie przetwarzania oraz oparcie modelu AI wyłącznie o lokalną kartę graficzną w moim laptopie.

Założyłem, że celem takiego narzędzia będzie pobranie ze wskazanego katalogu wszystkich pdf z uchwałami o nadaniu nazw ulic, a następnie ich automatyczne przetworzenie do warstwy poligonowej GIS z wczytaniem do Qgis.

Dowiedz się więcej

Pobieranie Darmowych danych z Geoportalu – Ortofotomapy, NMT, LAS, BDOT10k

Główny Urząd Geodezji i Kartografii zaczął udostępniać w związku z nowelizacją Ustawy Prawo Geodezyjne i Kartograficzne wiele danych Państwowego Zasobu Geodezyjnego bez opłat na geoportalu.

Dostępne są NMT, NMPT, Ortofotomapa, BDOT10k (przetworzony przez GUGiK i częściowo odmienny od oryginału) czy dane pomiarowe LIDAR czyli pliki LAS lub LAZ.

Niestety, przyjęto zasadę maksymalnego utrudnienia użytkownikowi

Dowiedz się więcej

Wczytywanie danych GML BDOO za pomocą wtyczki Qgis GML Application Schema Toolbox

Qgis ciągle się rozwija i oferuje nowe narzędzia w tym również do czytania i przetwarzania w sposób nieco bardziej zaawansowany plików GML. Odpowiadając na potrzebę wczytywania danych GML w sposób umożliwiający przekazanie relacji zawartych w schematach danych XSD powstała wtyczka Qgis GML Application Schema Toolbox umożliwiająca takie czytanie danych GML. Wtyczkę możecie doinstalować poprzez menu Qgis Wtyczki > Zarządzaj wtyczkami.

Spróbujmy użyć wtyczki do wczytania darmowych danych BDOO

Dowiedz się więcej

Wydajność przetwarzania danych z plików GML w QGIS

Przetwarzając duże ilości danych szczególnie w plikach GML łatwo można natknąć się na sytuację kiedy wydajność QGIS jest niewystarczająca.

Przykładowy plik jakim się posłużymy w celu zobrazowania wpływu jaki ma kilka czynników na przetwarzanie i wyświetlanie danych to dane z PRG z adresami zapisane przez CODGiK w formacie GML. Można je pobrać bezpłatnie na stronie CODGiK

Dowiedz się więcej

Jak wczytać powiązania Xlink zawarte w danych XML/GML BDOT10k i BDOO w Qgis

Pisząc poprzedni post w którym udostępniłem połączone dane BDOO dla całej Polski poruszyłem temat problemów związanych z xlinkiem czyli połączeniem danych zawartych w xml z innymi danymi np danymi słownika. Wobec dość dużego odzewu, w części krytykującego samo stosowanie w danych gml odnośników xlink:href czuję się w obowiązku kilka rzeczy wyjaśnić:

1. Co to jest xlink:href ?

Xlink:href to połączenie między danymi tworzone na zasadzie relacji. Specyfikację dla tego elementu znajdziecie tutaj

Dowiedz się więcej

Kontrolowanie wczytywania pliku GML do QGIS – plik gfs

W trakcie wczytywania pliku GML do QGIS tworzony jest w tym samym katalogu plik gfs o nazwie zgodnej z nazwą pliku gml. Plik ten jest plikiem xml tworzonym automatycznie przez QGIS zawierającym informację o wczytywanym gml, nazwie kolumn w QGIS, typie pól oraz zasięgu przestrzennym. Plik gfs można wykorzystać by wpłynąć na sposób w jaki Qgis wczytuje dane z pliku GML.

Przykładowe dane które można użyć do ćwiczeń to plik z adresami z województwa pomorskiego

Dowiedz się więcej

Plik shp – co każdy GISowiec wiedzieć powinien

Specyfikacja pliku shp powstała w firmie ESRI w 1998 roku. Od tego czasu wiele na rynku GIS się zmieniło.

1.Pliki i atrybuty wchodzące w skład formatu SHP

Według specyfikacji powyżej podstawowymi – minimalnymi wymagalnymi plikami wchodzącymi w format shp są pliki o rozszerzeniach:

*.shp – plik z geometrią

*.shx – plik z indeksem

*.dbf – plik z tabelą atrybutów w postaci tabeli dBase

Według ESRI istnieją jeszcze opcjonalne rozszerzenia

Dowiedz się więcej

Jak dane BDOT10k w xml w wersji TOPO wczytać do Qgis

Baza Danych Obiektów Topograficznych 1:10000 (BDOT10k) składa się z dwóch komponentów. Komponent TOPO jest elementem bazy odpowiedzialnym za przechowywanie danych z dużą ilością atrybutów opisowych. Komponent KARTO jest komponentem odpowiedzialnym za przechowywanie danych potrzebnych do wyświetlenia obrazu arkusza mapy. Obydwa komponenty przechowują dane w plikach w formacie XML. Aktualizacja opisu 26.10.2016

W przypadku TOPO dane BDOT to kilkadziesiąt warstw, których

Dowiedz się więcej

Jak symbolikę Geomedii z bibliotek fsm i plików SVG Intergrapha użyć w QGis.

SVG – czyli Scalable Vector Graphics to plik XML zawierający grafikę wektorową o której więcej możecie przeczytać tutaj. Pliki te używane są do przechowywania min.symboliki w programach GIS.

Pliki takie można tworzyć i edytować np. za pomocą programu Inkscape.

Pliki svg zazwyczaj charakteryzują się tym, że da się je otworzyć w przeglądarce internetowej. Oczywiście jak zawsze, gdy wszystko wydaje się za proste, takie być nie może.

Dowiedz się więcej

XML, XSD, GML – jak się w tym wszystkim odnaleźć ? – część III, walidacja XML plikiem XSD.

W poprzednim odcinku opisałem sposób tworzenia XML na podstawie schematu wyświetlonego w programie XSD Diagram. Efektem miał być plik XML utworzony na podstawie schematu XSD. Oto plik ZSIN.XML, który został przeze mnie utworzony ręcznie. (Uwaga zawiera błędy, które zostały pozostawione celowo). Należy użyć w przeglądarce opcji zapisz jako i zapisać go u siebie na dysku.

Co będzie nam jeszcze potrzebne:

Schemat XSD z jakim pracowaliśmy już wcześniej czyli załącznik  do rozporządzenia Rady Ministrów z dnia 17 stycznia 2013 r. w sprawie zintegrowanego systemu informacji o nieruchomościach.

Program notepad++, który jest rozszerzonym notatnikiem na licencji opensource (GPLv2).

Dowiedz się więcej