Init Diffusion
dashboard.init_diffusion
Fonction principale pour la creation d'unite latest
Fichier temporaire permetant de séparer le repertoire 'ror-integration-sql' et le 'ROR'.
Ce fichier télécharge les derniers fichiers et met à jour unite_latest.csv
Utilisation du fichier:
python main_diffusion.py
Functions
create_xlx()
Cherche les csv qui commencent par "MU_Rea_USC_USI", "typeUo_manquant" et "NbLitsInstalles_manquant" puis les compile dans le fichier excel rejet.xlsx (1 csv par feuille). Enfin, il supprime les csv afin que le cycle suivant ne soit pas perturbé.
Returns
None.
Source code in dashboard/init_diffusion.py
def create_xlx():
"""
Cherche les csv qui commencent par "MU_Rea_USC_USI",
"typeUo_manquant" et "NbLitsInstalles_manquant" puis les compile dans le
fichier excel rejet.xlsx (1 csv par feuille).
Enfin, il supprime les csv afin que le cycle suivant ne soit pas perturbé.
Returns
-------
None.
"""
# --- Gestion des rejets ---
# Déplace dans archive l'ancien fichier rejet
files = [x for x in os.listdir(DOSSIER_DIFFUSION) if "rejet" in x]
for f in files:
os.rename(os.path.join(DOSSIER_DIFFUSION, f),
os.path.join(DOSSIER_DIFFUSION, "archives", f))
# Listing des csv "MU_Rea_USC_USI", "typeUo_manquant" et "NbLitsInstalles_manquant"
files = [f for f in os.listdir(DOSSIER_DIFFUSION) if os.path.isfile(os.path.join(DOSSIER_DIFFUSION, f)) and (".csv" in f)]
liste = ["MU_Rea_USC_USI","typeUo_manquant","NbLitsInstalles_manquant"]
dd = dict()
to_delete = []
for ll in liste:
for f in files:
if ll in f:
dd[ll] = pd.read_csv(os.path.join(DOSSIER_DIFFUSION, f),
index_col = 0)
to_delete.append(f)
# Création du nouveau fichier rejet
if bool(dd):
with pd.ExcelWriter(os.path.join(DOSSIER_DIFFUSION,
f'{today_Ymd_short}_rejet.xlsx')) as writer:
for k, v in dd.items():
if dd[k] is not None:
dd[k].to_excel(writer, sheet_name = k)
else:
logger.success("Fichiers excel de base genérées avec succès")
for file in to_delete:
os.remove(os.path.join(DOSSIER_DIFFUSION, file))
init_diffusion(env, date)
Gère la diffusion des données de capacité des unités.
Cette fonction effectue les opérations suivantes : 1. Initialise les paramètres de date et d'heure 2. Récupère les données de capacité depuis la base de données 3. Convertit les types de données appropriés 4. Archive les anciens fichiers unite_latest.csv 5. Crée et diffuse une nouvelle table mise à jour 6. Génère un rapport des rejets
| Parameters: |
|
|---|
| Returns: |
|
|---|
| Raises: |
|
|---|
Source code in dashboard/init_diffusion.py
def init_diffusion(env:str, date:str) -> None:
"""
Gère la diffusion des données de capacité des unités.
Cette fonction effectue les opérations suivantes :
1. Initialise les paramètres de date et d'heure
2. Récupère les données de capacité depuis la base de données
3. Convertit les types de données appropriés
4. Archive les anciens fichiers unite_latest.csv
5. Crée et diffuse une nouvelle table mise à jour
6. Génère un rapport des rejets
Args:
env (str): L'environnement d'exécution (ex: 'prod', 'dev')
date (str): La date de traitement au format YYYY-MM-DD
Returns:
None
Raises:
ValueError: Si les paramètres d'entrée sont invalides
DatabaseError: En cas d'erreur lors de la requête à la base de données
IOError: En cas d'erreur lors des opérations sur les fichiers
"""
# Création d'une instance par défaut pour exposer les constantes
_dt_manager = DateTimeManager(date)
# Variables à exporter pour compatibilité avec vos anciens imports
hour_exec = _dt_manager.execution_hour
today_Ymd_short = _dt_manager.today_Ymd_short
today_Ymd_long = _dt_manager.today_Ymd_long
requete = f"""SELECT * FROM table_union
WHERE capacite_extract_datetime::date='{today_Ymd_long}' AND h_exec='{hour_exec}';"""
table = req2table(requete, env=env)
convert_dict = {'lit_capacite': "Int64",
'lit_dispo': "Int64" }
table = table.astype(convert_dict)
# Déplace dans archive l'ancien unite_latest.csv
files_ul = [x for x in os.listdir(DOSSIER_DIFFUSION) if "unite_latest.csv" in x]
for f_ul in files_ul:
os.rename(os.path.join(DOSSIER_DIFFUSION, f_ul),
os.path.join(DOSSIER_DIFFUSION, "archives", f_ul))
UNITE_CSV = _dt_manager.unite_csv
DATETIME_FORMAT = _dt_manager.DATETIME_FORMAT
# Création de la nouvelle table à jour
diffuse(table, DOSSIER_DIFFUSION, DATETIME_FORMAT, UNITE_CSV)
# Création de la nouvelle table de rejet
create_xlx()