Wijk/Buurten CBS ook maar gewoon bij adressen laden?

[skinkie]

Voor het geocoden is het wel handig om de wijk/buurt kaart ook gewoon op de adressen te hebben. Het is een kleine moeite om dit in te laden en toe te voegen.

http://www.cbs.nl/nl-NL/menu/themas/dossiers/nederland-regionaal/publicaties/geografische-data/archief/2012/2012-wijk-en-buurtkaart-2011-art.htm

[skinkie]

shp2pgsql -d -W LATIN1 -s 28992 wijk_2011_gn1.shp
shp2pgsql -d -W LATIN1 -s 28992 brt_2011_gn1.shp
shp2pgsql -d -W LATIN1 -s 28992 gem_2011_gn1.shp

CREATE INDEX wijk_2011_gn1_idx ON wijk_2011_gn1 USING gist (geom);
CREATE INDEX brt_2011_gn1_idx ON brt_2011_gn1 USING gist (geom);
CREATE INDEX gem_2011_gn1_idx ON gem_2011_gn1 USING gist (geom);

Even aan het kijken of ik adres-tabel.sql ook van wat wijzigingen kan voorzien.

[skinkie]

Just, zou jij een join willen op een gm_code, of een (nette center) met een within op de buurt tabel?

[justb4]

ja, mooi wijken en buurten erbij, ook in adres-tabel.sql ! ik begrijp je laatste comment niet goed. we hebben nu hierarchie: provincie->gemeente->woonplaats. vallen wijken/buurten niet binnen woonplaats? jij zit hier wat meer in. doe wat je het beste lijkt. als het voor gebruikers van NLExtract maar duidelijk blijft.

[skinkie]

alter table adres add wijknaam varchar(60);
alter table adres add buurtnaam varchar(60);

update adres set buurtnaam = brt_2011_gn1.bu_naam, wijknaam = wijk_2011_gn1.wk_naam FROM brt_2011_gn1, wijk_2011_gn1 WHERE st_within(geopunt, brt_2011_gn1.geom) and brt_2011_gn1.wk_code = wijk_2011_gn1.wk_code;

Ik denk dat het bovenstaande het snelste is, ten opzichte van het direct doen bij tabel maken. Want op dit moment staat er al een index op de geopunt, en hoef je geen vlak naar punt die binnen het vlak ligt, te converteren.

...en snel is hier relatief, postgresql is altijd traag.

[skinkie]

bag-2012-juli=# select count(*) from adres where wijknaam is null or buurtnaam is null;

count

2318
(1 row)

Van 8492281 totaal vrij acceptabel :)

[skinkie]

Ik zou dan ook maar zeggen... laadt Provincie2003 er dan ook maar netjes bij.

shp2pgsql -d -W LATIN1 -s 28992 provinciesnl2003

(Ik ben alleen benieuwd in welke characterset Frysl?n wel goed komt... UTF-8, ISO-8859-1 of LATIN1 allen niet, ik heb het idee dat het er echt als '?' in staat.)

[justb4]

Meerdere malen heb ik "iconv -f CP1252 -t UTF-8" moeten toepassen op NL bron bestanden. m.i. geeft ogr2ogr meer controle dan shp2pgsql, zie bijv http://code.google.com/p/inspire-foss/source/browse/trunk/etl/NL.Kadaster/bin/to-gml.sh

Ik zie net in BAG 8 aug dat de gemeente/woonplaats koppeling nu meegeleverd wordt:
http://kademo.nl/public/DNLDLXAE02-0000673060-0096000265-08082012.zip

[skinkie]

Dank voor je antwoord, op dit moment ben ik bezig om BAG42 opnieuw van data te voorzien. Ik had juli al te pakken, maar augustus is natuurlijk nog recenter. Ik walg echter van de nogsteeds super grote hoeveelheid postcode fouten die met super simpele visualisatie zo te ontdekken zijn.

Voor BAG42 willen we de complete stack dus gedocumenteerd hebben zodat deze te reproduceren valt. Dus wijken/buurten + provincies en openkvk. Ik neem aan dat dit breed wordt gedragen om meer mensen toegang te geven tot hun eigen geocoder.

[justb4]

Wat is de status, heb je een patch o.i.d ? Ik zou wijken/buurten graag meenemen in 1.1.2 ...

[skinkie]

Als je wilt dat ik een patch maak, in een los SQL bestand dan?

[emacgillavry]

Nog even in reactie op Just's eerdere vraag #64 (comment) Wijk- en buurtgrenzen vallen niet noodzakelijkwijs binnen 1 woonplaats. Navraag bij CBS of dit in de toekomst wordt rechtgetrokken leverde enkele maanden geleden het volgende antwoord op:

De wijk en buurtgrenzen worden door de gemeenten aan ons geleverd. Tegenwoordig meestal digitaal,
maar in het verleden ook analoog. Die analoge grenzen zijn door ons gedigitaliseerd en zitten er dus
nog steeds in. Die zullen dus niet precies aansluiten op de woonplaatsgrenzen. Wij compileren alle
aangeleverde grenzen tot 1 bestand.
Volgens een collega van mij is er wel een recent onderzoek geweest naar de vraag of gemeenten
met de wijkgrenzen wilden aansluiten op de woonplaatsindeling van de BAG, maar daar was niet
echt behoefte aan.

Hoewel de grenzen dus op een authentieke manier (lees: "handmatig") worden ingewonnen, is het gelukkig nog geen authentieke registratie en valt het dus niet netjes in te passen. Ook vraag ik me af, wat je hebt aan een aanduiding als "Verspreide huizen in het noorden" of "Corpus Den Hoorn-Noord".

[skinkie]

Omdat als je in een geocoder op wijk "Rietvink" zoekt je wel uitkomt op de viewport van onze wijk. Maar er geen straat is die zo heet.

[emacgillavry]

Daar is zeker geen speld tussen te krijgen, natuurlijk. Sommige buurtnamen zijn nu eenmaal gangbaarder in het gewone spraakgebruik, dan andere. Zeker voor dichter-bewoonde gebieden is het inderdaad heel handig!

[justb4]

Dit issue is weer relevant geworden, sowieso voor de adres tabel/CSV. Ik denk dat we als bron
CBS 'Wijk- en Buurtkaart 2014' http://www.cbs.nl/nl-NL/menu/themas/dossiers/nederland-regionaal/publicaties/geografische-data/archief/2015/wijk-en-buurtkaart-2014-art.htm moeten gebruiken.

[holtkamp]

Mogelijk nuttig:

https://www.cbs.nl/nl-nl/dossier/nederland-regionaal/geografische%20data/wijk-en-buurtkaart-2016

[justb4]

@holtkamp bedankt! Lijkt mij goed om wijken/buurten door te zetten. Ontwerp hier te bespreken. Is wat lastiger dan gemeente en provincie, die konden via woonplaats,gemeente, provincies codes gekoppeld worden. Bij wijken/buurten is dat m.i. anders, staan lager in administratieve hierarchie:

• om te bepalen in welke wijk/buurt een BAG adres ligt moet mogelijk een geometrische operatie (PostGIS evt WFS) gedaan worden
• ligt elk adres in een wijk en/of buurt?

@skinkie heeft hier vast wel ideeen over ! ok, zie nu ook zijn bovenstaande commentaren...

Ik wil graag eerst issue #218 (extra velden BAG adres) integreren en daarna wijken/buurten.

[emacgillavry]

Oh mensen, we zweten regelmatig op de combi buurten en BAG-woonplaatsen. Sommige buurten beslaan meerdere woonplaatsen en de grenzen van de buurten vallen niet samen met de grenzen van de woonplaatsen... Ik hoopte, dat Kadaster dit zou rechttrekken met de slag om de buurten op te nemen in Top10NL, maar dat is slechts voor de grote steden ingevuld begreep ik. Hier mogen MinEZ/CBS en MinI&M/Kadaster nog eens een ei over gaan leggen in het belang van Geo-Nederland ;-) 2017-06-14 12:12 GMT+02:00 Just van den Broecke <[email protected]>:

…

@holtkamp <https://github.com/holtkamp> bedankt! Lijkt mij goed om wijken/buurten door te zetten. Ontwerp hier te bespreken. Is wat lastiger dan gemeente en provincie, die konden via woonplaats,gemeente, provincies codes gekoppeld worden. Bij wijken/buurten is dat m.i. anders, staan lager in administratieve hierarchie: - om te bepalen in welke wijk/buurt een BAG adres ligt moet mogelijk een geometrische operatie (PostGIS evt WFS) gedaan worden - ligt elk adres in een wijk en/of buurt? @skinkie <https://github.com/skinkie> heeft hier vast wel ideeen over ! Ik wil graag eerst issue #218 <#218> (extra velden BAG adres) integreren en daarna wijken/buurten. — You are receiving this because you commented. Reply to this email directly, view it on GitHub <#64 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/ABe9AGps8p7BD3WmnetzKY5rupzyCOq4ks5sD7IYgaJpZM4AHJWQ> .

[mprins]

wijken/buurten zitten in de BGT (maar incompleet - ondanks de blije kaartjes op https://www.pdok.nl/nl/bgt-vulling ) oa. GML light die we in de BRMO gebruiken heeft dat

[Jeroen-GroeneBij]

Op CBS vond ik een link naar een koppelbestand dat alle adressen (PC6+huisnummer), voorziet van buurt-, wijk- en gemeentecode: https://www.cbs.nl/nl-nl/maatwerk/2017/38/buurt-wijk-en-gemeente-2017-voor-postcode-huisnummer
Dat zijn dus meer dan 7,5 miljoen regels. Dat kan ik helaas in mij excel niet meer openen.

Kan iemand hiermee een koppeling maken waardoor PC6 gekoppeld is aan buurtnaam?

[XtheOne]

Kun je niet beter de CVS importeren in postgresql ?
Anders de 64 bit versie van office gebruiken.

[Jeroen-GroeneBij]

Heb de csv kunnen openen in Qgis, dan een gemeente selecteren, en die knippen en plakken in excel. Dan heb ik kleinere hoeveelheden regels.
Excel 64bit heeft helaas ook een limiet van rond de 1,5 mln regels

[holtkamp]

FYI, nieuwe files beschikbaar voor

• https://www.cbs.nl/nl-nl/dossier/nederland-regionaal/geografische-data/wijk-en-buurtkaart-2019
• https://www.cbs.nl/nl-nl/maatwerk/2019/42/buurt-wijk-en-gemeente-2019-voor-postcode-huisnummer

Off-topic
In navolging van #220 (comment) ben ik momenteel bezig om een Docker container de volgende datasets in een MySQL 8.0.18 database te laten importeren:

• BAG adressen
• GemeenteWijkBuurtKaart
• PostcodeKoppeltabel

Zijn er plannen om dergelijke "standaard" pijplijnen ook in dit project op te nemen?