Archiwa kategorii: opensource

Punkty adresowe PRG – kody pocztowe analiza jakości REGEX

Dzisiaj krótki wpis o jakości danych kodów pocztowych w punktach adresowych PRG.

Kod pocztowy w Polsce w zasadzie każdy wie jak wygląda – to dwie cyfry kreska trzy cyfry czyli np. 80-210. Będąc ciekawym jak wygląda jakość w danych punktów adresowych PRG (strona CODGiK dane z 19-07-2017) zrobiłem małą analizę za pomocą funkcji REGEX. Odrzuciłem wszystkie Czytaj dalej Punkty adresowe PRG – kody pocztowe analiza jakości REGEX

Podłączanie danych z portalu danepubliczne.gov.pl (CKAN) do Qgis

Portal danepubliczne.gov.pl jest portalem który zbiera ogólnodostępne dane np. z administracji publicznej i innych źródeł pozwalając na zintegrowanie ich w jednym miejscu. Prowadzony jest przez Ministerstwo Cyfryzacji w opensourcowym systemie CKAN, który powoli staje się podstawowym programem do publikowania w sieci tego typu danych w Europie.

Na stronie danepubliczne.gov.pl w zakładce baza wiedzy znajduje się artykuł jak korzystać z danych serwisu za pomocą API. CKAN współpracuje z różnymi klientami i językami programowania min. Czytaj dalej Podłączanie danych z portalu danepubliczne.gov.pl (CKAN) do Qgis

Projekt w Qgis bazujący wyłącznie na usługach online.

Wraz ze wzrostem ilości danych dostępnych w sieci za pomocą usług coraz bardziej skłaniam się do wykorzystywania zasobów sieciowych w sposób który pozwala mi na automatyczne pobranie aktualnych danych przy każdorazowym otwarciu projektu w Qgis.

W ramach testów na podstawie usługi WFS GDOŚ oraz danych z Centralnego Rejestru Form Ochrony Przyrody i usługi WMTS ortofotomapy z geoportalu wytworzyłem projekt dla pomników przyrody z obszaru województwa pomorskiego.

Qgis był tu klientem usług, którego zadaniem było pobranie danych z warstwy pomników przyrody GDOŚ i CRFOP, połączenie Czytaj dalej Projekt w Qgis bazujący wyłącznie na usługach online.

Infrastruktura informacji przestrzennej po polsku. Część 2 – Dane EMUiA Geo-Systemu

Po pierwszym wpisie dostępnym tutaj w którym opisałem trudy związane z pozyskaniem prawidłowego schematu XSD dla danych EMUiA pora na analizę i przetworzenie zawartości plików z wszystkich gmin rejestru EMUiA  udostępnianych przez Geo-System.

W celu przetworzenia danych EMUiA dla całej Polski  od Geo-Systemu użyłem całości danych dostępnych na stronie http://danepubliczne.punktyadresowe.pl/ dostęp 04.02.2017r.

Celem przetworzenia było uzyskanie jednej ciągłej warstwy ze wszystkich gmin zawierającej punkty adresowe, ulice, Czytaj dalej Infrastruktura informacji przestrzennej po polsku. Część 2 – Dane EMUiA Geo-Systemu

Określanie gęstości pokrycia punktami w plikach LAS (LIDAR) za pomocą SAGA GIS

Dzisiaj nieco praktycznych informacji o tym czego można się spodziewać zamawiając dane LIDAR z CODGiK w postaci plików LAS.

W ramach projektu ISOK wykonano pokrycie prawie całej Polski danymi LIDAR. Założenia dokładnościowe odnośnie gęstości danych o których możecie przeczytać przy opisie danych w CODGiK to 12 pkt/m2 przy terenach miejskich i 4 pkt /m2 na terenach poza miastami. Oczywiście wczytując się w SOPZ projektu ISOK można się zdziwić bowiem określone są tam Czytaj dalej Określanie gęstości pokrycia punktami w plikach LAS (LIDAR) za pomocą SAGA GIS

Usługi Słownikowe GUGiK część 2 – przetwarzanie danych XML za pomocą Talend Open Studio Data Integration

Pobrane za pomocą usługi WSDL dane z usługi słownikowej GUGiK z poprzedniego wpisu możemy spróbować przetworzyć do postaci pliku csv np przy pomocy programu typu ETL. Użyjemy w tym celu programu Talend Open Studio Data Integration w jego darmowej wersji  który można go pobrać tutaj. Do działania programu musi być zainstalowana na komputerze java, którą można znaleźć tutaj.

Spróbujmy przetworzyć dane z ulicami, które pobraliśmy z serwera. Otwierając pobraną paczkę zip zobaczymy tam dużą ilość xml o takiej samej  strukturze, które zawierają ulice dla Czytaj dalej Usługi Słownikowe GUGiK część 2 – przetwarzanie danych XML za pomocą Talend Open Studio Data Integration

Qgis 2.16.0 – ciekawe funkcjonalności czyli Tips & Tricks część 1

Nowa wersja Qgis przyniosła kilkadziesiąt ciekawych funkcjonalności które pozwalają na łatwiejsze wykonywanie niektórych zadań.

1. Jak zmienić atrybuty dla wielu obiektów  jednocześnie?
W trybie edycji warstwy zaznaczamy wiele obiektów z jednej warstwy którym chcemy zmienić wartości na wspólne.
Poleceniem Czytaj dalej Qgis 2.16.0 – ciekawe funkcjonalności czyli Tips & Tricks część 1

Analiza spójności wewnętrznej danych na przykładzie relacji punktów adresowych do ulic z PRG

Dzisiaj tylko krótki film pokazujący jak wyglądają zwizualizowane  relacje w danych oczywiście przy użyciu kilku „hobbystycznych” technik jakby to pewni ludzie w Warszawie powiedzieli. W ramach testów wydajnościowych pewnego rozwiązania z ponad 41 mln relacji występujących w danych dla punktów adresowych w całej Polsce wybrałem i zwizualizowałem te, które dotyczą ulic. Te które Czytaj dalej Analiza spójności wewnętrznej danych na przykładzie relacji punktów adresowych do ulic z PRG

Konwersja rastrów oraz format rasterlite czyli zapis rastrów w bazie SQLite za pomocą Qgis

1. Konwersja rastra w Qgis
Jednym z częstych pytań które padają na forach jest to jak zapisać raster w innym formacie w Qgis. W przypadku wektorów odruchem jest prawy przycisk na warstwie oraz wybranie polecenia zapisz jako i wybranie formatu. Nieco inaczej rzecz ma się w przypadku rastrów. Polecenie Raster > Konwersja > Konwertuj Raster pozwala na zapis rastra w innym formacie.

2. Format rasterlite w Qgis
W przypadku zapisu rastra np ortofotomapy do bazy SQLite rzecz jest również trywialnie prosta. Format bazy SQlite z zapisem rastra Czytaj dalej Konwersja rastrów oraz format rasterlite czyli zapis rastrów w bazie SQLite za pomocą Qgis

Darmowe dane CODGiK – PRG to nie tylko punkty adresowe.

Centralny Ośrodek Dokumentacji Geodezyjnej i Kartograficznej udostępnia dane Państwowego Rejestru Granic na swojej stronie za darmo. Mało kto wie, że pod jakże mylącym opisem linku punkty adresowe znajduje się w spakowanych plikach GML rejestr (uwaga duży plik), który zawiera również inne dane.

Najprościej byłoby oczywiście zorientować się w zawartości pliku XML Czytaj dalej Darmowe dane CODGiK – PRG to nie tylko punkty adresowe.