forked from nlextract/NLExtract
-
Notifications
You must be signed in to change notification settings - Fork 0
/
VERSIES
155 lines (108 loc) · 5.65 KB
/
VERSIES
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
Dit bestand bevat versie informatie voor NLExtract. Versies en snapshots zijn te downloaden
via de link: http://www.nlextract.nl/file-cabinet. Nieuwste bovenaan.
De rest ligt nog open afhankelijk van wensen gebruikers en natuurlijk eventuele bugs.
ONGEPLAND
- BGT Extractie
- AHN
- Bonne Bladen (historische kaarten)
- Linked Data
- Top10NL naar Oracle,
- gebruik Stetl als algemeen ETL framework: https://stetl.org
v1.1.5 - feb.2014 - GEPLAND
Mutatieverwerking!!
v1.1.4 - 9.jan.2014 - HUIDIGE VERSIE
Werd weer tijd, veel fixes, ook veel via Pull requests, dank! Features in:
#107 BAG Datumtijd kolommen moeten ook decimale seconden meenemen bag-extract
#105 (Her)gebruik database connecties in BAG Extract bag-extract
#102 Nevenadressen moeten meegenomen in genereren adres tabel bag-extract
#101 BAG - CSV gemeente-provincie koppeling van CBS upgrade van 2012 naar 2013 bag-extract
Pull request (Sebastic) tevens upgrade gemeente-provincie koppeling van CBS voor 2014
#99 Indexen op BAG tabellen bag-extract
#96 Reverse geocoding functies zijn out-of-date bag-extract
#95 Ondersteun PostgreSQL schema voor TOP10NL top10-extract
#94 Multipliciteit namen in TOP10NL niet altijd gewenst top10-extract
#89 Mysql bag-extract
#7 top10-extract.sh - uitgebreidere cmd args en functionaliteit top10-extract
Bonne bladen scripts
v1.1.3 - 13.dec.2012
Aantal bugfixes op 1.1.2 en verbeteringen in het algemeen.
Zie milestone issues die in deze release zitten:
https://github.com/opengeogroep/NLExtract/issues?milestone=6&state=closed
Onder andere:
Features
- Gebruik gemeente-woonplaats koppeltabel uit BAG Levering ipv .csv bag-extract
- Adressen met full text index - fuzzy zoeken in tabel "adres" met PostgreSQL tsvector
Bugs opgelost
- BAG documentdatum is altijd null door typefout in bagattribuut.py (bug)
- probe_geometry_columns niet aanroepen indien PostGIS 2.x
v1.1.2 - 16.okt.2012
De issues (werk-items) voor deze release zijn hier te vinden:
https://github.com/opengeogroep/NLExtract/issues?milestone=5&state=closed
Algemeen
- begin gemaakt documentatie op http://nlextract.readthedocs.org
BAG Extract
- bag-extract.sh werkt niet wanneer aangeroepen via symbolic link (patch) bag-extract
- Einddatum gemeente wordt niet verwerkt bag-extract
- adres script: gebruik woonplaatsnaam uit nummeraanduiding indien aanwezig bag-extract
- probe_geometry_columns niet meer in PostGIS2?
- woonplaats-gemeente koppeltabel .csv naar versie van 10 aug 2012
Top10NL Extract
- alle scripts in Python (ipv shell en .cmd)
- ondersteun nieuwste versie Top10NL 1.1.1
- Voeg XML validator toe voor Top10NL v1.1.1 top10-extract
- Top10NL: verwijder dashes '-' uit Python .py file namen top10-extract
- Top10NL: voeg test data en tests toe voor Top10NL versie 1.1.1 top10-extract
- Top10NL: Er worden geen GFS-bestanden bij verwerking van de september-levering bag-extract
- Vervanging e-trema door normale 'e' in Overigrelief top10-extract
- Opsplitsen naam / straatnaam kolommen in Nederland en Fries top10-extract
v1.1.1 - 20.juni.2012
Vooral bugfixes in BAG-Extract. Top10NL en BGT extractie uitstellen tot v1.1.2
De gesloten issues zijn hier te vinden:
https://github.com/opengeogroep/NLExtract/issues?milestone=4&page=1&state=closed
Samengevat:
- bugfix waardoor in v1.1.0 multipolygons voor woonplaatsen null waren
- geovlak toevoegen aan VIEWs voor Verblijfsobject
- warnings weg voor diacritische chars (unicode probleem)
- postgresql port parm ignored
v1.1.0 - 14.mei.2012
Speedup release voor BAG: nu BAG 3x zo snel inlezen als in v1.0.1!
Voornamelijk door gebruik native XML parsing (via lxml) en database inladen via COPY
ipv INSERT kan BAG inlezen 3x zo snel als voorheen. Er zijn wel wat externe afhankelijkheden
bijgekomen:
- lxml en libxml2 (native XML parser lib)
- GDAL met Python bindings: Geometrie GML parsen en geometrie validatie/manipulatie (lukt niet in COPY)
Sowieso is GDAL met OGR Python-bindings een goede stap voor volgende NLExtract versies.
Dit is de eerste versie die GitHub Milestones gebruikt. De naam vd Milestone is het versie nummer (hier v1.1.0).
Zie https://github.com/opengeogroep/NLExtract/issues/milestones?state=closed
Alle issues die meegenomen zijn vind je hier:
https://github.com/opengeogroep/NLExtract/issues?milestone=1&state=closed
Specifieke issues opgelost in v1.1.0
- BAG: vervangen woonplaats-gemeente koppeltabel 6 maart 2012 door 24 april 2012
- BAG: relaties einddatumtijdvakgeldigheid en actuele VIEWS ontbreken
- Mutaties: fout by DB COPY
- BAG escape backslashes in strings voor Postgres COPY
- gebruik GDAL/OGR Python bindings voor Geometrie parsing/validatie
- BAG inlezen: gebruik COPY en cStringIO voor grote snelheidswinst
- Geocoding functionaliteit op basis van BAG
- adres-tabel.sql DROP ... CASCADE?
- adres_voor_xy roept zichzelf aan ipv adressen_voor_xy
- BAG MultiSurface wordt niet goed geparsed met XPath
- Gewijzigd schema Kadaster CSV woonplaats-gemeente koppeltabel
- BAG - LATIN1 encoding gebruikt voor UTF-8 prov/gem CSV
- Poort -P parameter wordt niet geparsed
- etree (native XML parsing via libxml2)
- BAG Foutafhandeling en validatie met logging in datab
v1.0.1 - 5.mrt.2012
- BAG: laatste versie voor performance boost door native LXML/Etree XML-parsing!
- minor fixes
- BAG nieuwste (24jan2012) kadaster-woonplaats-gemeente koppeltabel
- BAG: LATIN1/UTF-8 encoding issues opgelost, nu alle bronnen/doelen UTF-8
- start met SQL scripts tbv reverse geocoding op Adres tabel
v1.0.0 - 27.feb.2012
- de allereerste versie !
- extraheren BAG en Top10NL
- verrijking BAG met gemeenten/provincies
- afgeleide BAG tabellen zoals ACN-achtige adressen
- visualisaties Top10NL voor met name QGIS
Nog veel oudere versies zijn te vinden op:
https://github.com/MinIenM/BAG-Extract