From d1737bc5a8b11060c944edbc125ea5e0d345358a Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?Th=C3=A9o=20Satabin?= <theo.satabin@gmail.com>
Date: Fri, 13 Jan 2023 16:30:20 +0100
Subject: [PATCH] Gestion par pyr2pyr du multi cluster S3

---
 CHANGELOG.md   |  9 ++-------
 bin/pyr2pyr.py | 16 +++++++++++++++-
 setup.py       |  2 +-
 3 files changed, 18 insertions(+), 9 deletions(-)

diff --git a/CHANGELOG.md b/CHANGELOG.md
index 865ee9b..05c15d1 100644
--- a/CHANGELOG.md
+++ b/CHANGELOG.md
@@ -2,21 +2,16 @@
 
 ## Summary
 
-Cette release contient le premier outil de la suite Python PYR2PYR. Il utilise la [librairie Python du projet](https://github.com/rok4/core-python).
+PYR2PYR gère les copies inter cluster S3
 
 ## Changelog
 
 ### [Changed]
 
 * Outil PYR2PYR :
-  * Au lancement de l'agent, on ne fournit plus le fichier où écrire le travail fait. En cas d'erreur attrapée, un fichier/objet est poussé à côté de la todo list contenant le nom de la dernière dalle traitée. L'existence de ce fichier/objet est testée avant de commencer le travail
+  * Les pyramides source et destination peuvent être sur des clusters S3 différents. Ils sont précisés lors de la recopie des dalles. Pour préciser le cluster dans le chemin vers le descripteur de la pyramide source (ou l'emplacement de la pyramide destination), il suffit de suffixer le nom du bucket avec `@{hôte du cluster}`.
 
 
-### [Fixed]
-
-* Outil PYR2PYR
-  * Correction de la lecture du fichier liste temporaire de la pyramide source
-
 <!-- 
 ### [Added]
 
diff --git a/bin/pyr2pyr.py b/bin/pyr2pyr.py
index 4bcc623..7201e10 100755
--- a/bin/pyr2pyr.py
+++ b/bin/pyr2pyr.py
@@ -172,6 +172,9 @@ def master_work():
 
     # Parcours des dalles de la pyramide en entrée et constitution des todo lists
     with open(from_list_obj.name, "r") as listin:
+
+        from_s3_cluster = from_pyramid.storage_s3_cluster
+
         for line in listin:
             line = line.rstrip()
             logging.debug(line)
@@ -182,7 +185,13 @@ def master_work():
 
             if header:
                 root_id, root_path = line.split("=", 1)
-                roots[root_id] = root_path
+                if from_s3_cluster is None:
+                    roots[root_id] = root_path
+                else:
+                    # On a un nom de cluster S3, on l'ajoute au nom du bucket dans les racines
+                    root_bucket, root_path = root_path.split("/", 1)
+                    roots[root_id] = f"{root_bucket}@{from_s3_cluster}/{root_path}"
+
                 continue
 
             # On traite une dalle
@@ -331,6 +340,11 @@ def finisher_work():
             to_root = os.path.join(to_pyramid.storage_root, to_pyramid.name)
             list_file_obj.write(f"0={to_root}\n#\n")
 
+            if to_pyramid.storage_s3_cluster is not None:
+                # Les chemins de destination contiendront l'hôte du cluster S3 utilisé,
+                # Il faut donc l'inclure dans la racine à supprimer des chemins vers les dalles
+                to_root = os.path.join(f"{to_pyramid.storage_root}@{to_pyramid.storage_s3_cluster}", to_pyramid.name)
+
             for i in range(0, config["process"]["parallelization"]):
 
                 todo_list_obj = tempfile.NamedTemporaryFile(mode='r', delete=False)
diff --git a/setup.py b/setup.py
index b1f94a0..0ab6371 100644
--- a/setup.py
+++ b/setup.py
@@ -14,6 +14,6 @@
     description='Python tools for ROK4 project',
     author='Géoportail<tout_rdev@ign.fr>',
     url='https://github.com/rok4/pytools',
-    install_requires=['rok4lib', 'jsonschema'],
+    install_requires=['rok4lib >= 1.1.0', 'jsonschema'],
     setup_requires=['wheel']
 )
\ No newline at end of file