Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Selhání exportu redukovaného balíčku #138

Open
kerschfilip opened this issue Jan 12, 2023 · 3 comments
Open

Selhání exportu redukovaného balíčku #138

kerschfilip opened this issue Jan 12, 2023 · 3 comments
Assignees
Labels

Comments

@kerschfilip
Copy link
Collaborator

Dobrý den,

narážím na problémy při exportu dat redukovaných balíčků. Nejsem si úplně jistý, zda se jedná o chybu aplikace nebo někde na mojí straně, prosím tedy o prozkoumání.

Pokoušel jsem se exportovat původní skeny (obsah složky Original_Tiff_LZW) z AIP s Autorským ID: 38bf6c3a-18cd-4342-8c48-b22c1901c8b7
Export konfigurace byl následující:
image

Výsledkem jsou skutečně vyexportované skeny, ale ne všechny. Status exportu - soubor export - má příponu .failed

Pokud z hromádky vyberu dva balíčky (např. 38bf6c3a-18cd-4342-8c48-b22c1901c8b7 a 013e5641-f967-46d6-bbbc-af2985418cde) a provedu export stejným způsobem, tak se mi k jednomu balíčku vyexportovala větší část skenů (ale zase ne všechny) a k druhému nic.

V souboru status.failed se objevuje následující:

java.io.FileNotFoundException: /opt/arclib/fileStorage/prod1/prod1ex/fk/20230112091250/data_with_xml/463199e3-04c1-4b2f-929f-2bbbbf913c89/463199e3-04c1-4b2f-929f-2bbbbf913c89_xml_1.xml (No such file or directory)
	at java.base/java.io.FileOutputStream.open0(Native Method)
	at java.base/java.io.FileOutputStream.open(FileOutputStream.java:298)
	at java.base/java.io.FileOutputStream.<init>(FileOutputStream.java:237)
	at java.base/java.io.FileOutputStream.<init>(FileOutputStream.java:187)
	at cz.cas.lib.arclib.utils.ZipUtils.extractFile(ZipUtils.java:70)
	at cz.cas.lib.arclib.service.archivalStorage.ArchivalStorageResponseExtractor.extractAipAsFolderWithXmlsBySide(ArchivalStorageResponseExtractor.java:70)
	at cz.cas.lib.arclib.service.AipExportService.export(AipExportService.java:229)
	at cz.cas.lib.arclib.service.AipExportService.lambda$initiateExport$1(AipExportService.java:148)
	at java.base/java.util.concurrent.CompletableFuture$AsyncRun.run(CompletableFuture.java:1736)
	at java.base/java.util.concurrent.CompletableFuture$AsyncRun.exec(CompletableFuture.java:1728)
	at java.base/java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:290)
	at java.base/java.util.concurrent.ForkJoinPool$WorkQueue.topLevelExec(ForkJoinPool.java:1020)
	at java.base/java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:1656)
	at java.base/java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1594)
	at java.base/java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:177) 

Napadlo mě tedy, že je možná špatně regex, ale stejně mě zaráží, že část dat se vyexportuje a část ne.
Díky za pomoc!

@yantom yantom self-assigned this Jan 17, 2023
@yantom
Copy link
Collaborator

yantom commented Jan 17, 2023

Jednalo se o chybu exportu, již je opraveno,

@kerschfilip
Copy link
Collaborator Author

export dat redukovaných balíčků mi funguje správně, narážím ale na problém při exportu dat, která nechci redukovat, ale chci získat kompletní AIP.
Postup:

  • vytvoření vyhledávacího dotazu (testoval jsem na dotazu s názvem "český lid 2000" na testovacím prostředí)
  • u vyhledávacího dotazu vyberu Export výsledků vyhledávání
  • v dialogovém okně nevybírám žádnou šablonu exportu, protože data nechci redukovat:
    arclib_export_fail

export selže a v export.failed je:

java.util.zip.ZipException: only DEFLATED entries can have EXT descriptor
	at java.base/java.util.zip.ZipInputStream.readLOC(ZipInputStream.java:311)
	at java.base/java.util.zip.ZipInputStream.getNextEntry(ZipInputStream.java:123)
	at cz.cas.lib.arclib.service.archivalStorage.ArchivalStorageResponseExtractor.extractAipAsFolderWithXmlsBySide(ArchivalStorageResponseExtractor.java:63)
	at cz.cas.lib.arclib.service.AipExportService.export(AipExportService.java:232)
	at cz.cas.lib.arclib.service.AipExportService.lambda$initiateExport$1(AipExportService.java:149)
	at java.base/java.util.concurrent.CompletableFuture$AsyncRun.run(CompletableFuture.java:1736)
	at java.base/java.util.concurrent.CompletableFuture$AsyncRun.exec(CompletableFuture.java:1728)
	at java.base/java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:290)
	at java.base/java.util.concurrent.ForkJoinPool$WorkQueue.topLevelExec(ForkJoinPool.java:1020)
	at java.base/java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:1656)
	at java.base/java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1594)
	at java.base/java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:177) 

Díky za pomoc

@kerschfilip
Copy link
Collaborator Author

@yantom domnívám se, že tady ještě nějaký problém přetrvává. Při stejném postupu popsaném výše se mi při exportu na základě vyhledávacího dotazu (dotaz "český lid 2000" na testovacím prostředí) vyexportuje do workspace pouze první balíček, přestože dotazu odpovídají balíčky dva. Viz export prod1ex/fk/20240314115039/

Pokud data v exportu redukuji, pak se vyexportují správně data z obou balíčků viz export prod1ex/fk/20240314115101/

image

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Projects
None yet
Development

No branches or pull requests

2 participants