You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Om meerdere threads iets te doen te geven heb ik de volgende in m'n bash script in gebruik:
unzip inspireadressen.zip -d inspireadressen
$scripts/NLExtract/bag/bin/bag-extract.sh -cj
FILES=$scripts/inspireadressen/*.zip
for f in $FILES
do
$scripts/NLExtract/bag/bin/bag-extract.sh -e $f &
done
wait
gewoon de zip uitpakken dus en parallel verwerken (door de & op het eind).
Lang niet zo ideaal/snel als via worker threads, maar de import tijd wordt er wel door verkort tot de tijd die het duurt om de pand tabel (de grootste) te vullen. De rest is dan al gebeurd.
Voor nog meer versnelling aangezien:
a) de volgorde van bestandsverwerking er niet toe doet
b) slechts 1 core iets staat te doen
Middels een queue met Workers pattern moet dit met Python multithreading te realiseren zijn.
Wachtend op PR van Stefan de K.
The text was updated successfully, but these errors were encountered: