Init Diffusion

dashboard.init_diffusion

Fonction principale pour la creation d'unite latest

Fichier temporaire permetant de séparer le repertoire 'ror-integration-sql' et le 'ROR'.

Ce fichier télécharge les derniers fichiers et met à jour unite_latest.csv

Utilisation du fichier: python main_diffusion.py

Functions

create_xlx()

Cherche les csv qui commencent par "MU_Rea_USC_USI", "typeUo_manquant" et "NbLitsInstalles_manquant" puis les compile dans le fichier excel rejet.xlsx (1 csv par feuille). Enfin, il supprime les csv afin que le cycle suivant ne soit pas perturbé.

Returns

None.

Source code in dashboard/init_diffusion.py
def create_xlx():
    """
    Cherche les csv qui commencent par "MU_Rea_USC_USI",
    "typeUo_manquant" et "NbLitsInstalles_manquant" puis les compile dans le
    fichier excel rejet.xlsx (1 csv par feuille).
    Enfin, il supprime les csv afin que le cycle suivant ne soit pas perturbé.

    Returns
    -------
    None.

    """
    # --- Gestion des rejets ---
    # Déplace dans archive l'ancien fichier rejet
    files = [x for x in os.listdir(DOSSIER_DIFFUSION) if "rejet" in x]
    for f in files:
        os.rename(os.path.join(DOSSIER_DIFFUSION, f),
                  os.path.join(DOSSIER_DIFFUSION, "archives", f))


    # Listing des csv "MU_Rea_USC_USI", "typeUo_manquant" et "NbLitsInstalles_manquant"
    files = [f for f in os.listdir(DOSSIER_DIFFUSION) if os.path.isfile(os.path.join(DOSSIER_DIFFUSION, f)) and (".csv" in f)]
    liste = ["MU_Rea_USC_USI","typeUo_manquant","NbLitsInstalles_manquant"]
    dd = dict()
    to_delete = []
    for ll in liste:
        for f in files:
            if ll in f:
                dd[ll] = pd.read_csv(os.path.join(DOSSIER_DIFFUSION, f),
                                     index_col = 0)
                to_delete.append(f)

    # Création du nouveau fichier rejet
    if bool(dd):
        with pd.ExcelWriter(os.path.join(DOSSIER_DIFFUSION,
                                         f'{today_Ymd_short}_rejet.xlsx')) as writer:
            for k, v in dd.items():
                if dd[k] is not None:
                    dd[k].to_excel(writer, sheet_name = k)
    else:
        logger.success("Fichiers excel de base genérées avec succès")
    for file in to_delete:
        os.remove(os.path.join(DOSSIER_DIFFUSION, file))

init_diffusion(env, date)

Gère la diffusion des données de capacité des unités.

Cette fonction effectue les opérations suivantes : 1. Initialise les paramètres de date et d'heure 2. Récupère les données de capacité depuis la base de données 3. Convertit les types de données appropriés 4. Archive les anciens fichiers unite_latest.csv 5. Crée et diffuse une nouvelle table mise à jour 6. Génère un rapport des rejets

Parameters:
  • env (str) –

    L'environnement d'exécution (ex: 'prod', 'dev')

  • date (str) –

    La date de traitement au format YYYY-MM-DD

Returns:
  • None –

    None

Raises:
  • ValueError –

    Si les paramètres d'entrée sont invalides

  • DatabaseError –

    En cas d'erreur lors de la requête à la base de données

  • IOError –

    En cas d'erreur lors des opérations sur les fichiers

Source code in dashboard/init_diffusion.py
def init_diffusion(env:str, date:str) -> None:
    """
    Gère la diffusion des données de capacité des unités.

    Cette fonction effectue les opérations suivantes :
    1. Initialise les paramètres de date et d'heure
    2. Récupère les données de capacité depuis la base de données
    3. Convertit les types de données appropriés
    4. Archive les anciens fichiers unite_latest.csv
    5. Crée et diffuse une nouvelle table mise à jour
    6. Génère un rapport des rejets

    Args:
        env (str): L'environnement d'exécution (ex: 'prod', 'dev')
        date (str): La date de traitement au format YYYY-MM-DD

    Returns:
        None

    Raises:
        ValueError: Si les paramètres d'entrée sont invalides
        DatabaseError: En cas d'erreur lors de la requête à la base de données
        IOError: En cas d'erreur lors des opérations sur les fichiers
    """

    # Création d'une instance par défaut pour exposer les constantes
    _dt_manager = DateTimeManager(date)

    # Variables à exporter pour compatibilité avec vos anciens imports
    hour_exec          = _dt_manager.execution_hour
    today_Ymd_short    = _dt_manager.today_Ymd_short
    today_Ymd_long     = _dt_manager.today_Ymd_long

    requete = f"""SELECT * FROM table_union
                 WHERE capacite_extract_datetime::date='{today_Ymd_long}' AND h_exec='{hour_exec}';"""
    table = req2table(requete, env=env)
    convert_dict = {'lit_capacite': "Int64",
                    'lit_dispo': "Int64" }
    table = table.astype(convert_dict)

    # Déplace dans archive l'ancien unite_latest.csv
    files_ul = [x for x in os.listdir(DOSSIER_DIFFUSION) if "unite_latest.csv" in x]
    for f_ul in files_ul:
        os.rename(os.path.join(DOSSIER_DIFFUSION, f_ul),
                  os.path.join(DOSSIER_DIFFUSION, "archives", f_ul))

    UNITE_CSV =  _dt_manager.unite_csv
    DATETIME_FORMAT = _dt_manager.DATETIME_FORMAT

    # Création de la nouvelle table à jour
    diffuse(table, DOSSIER_DIFFUSION, DATETIME_FORMAT, UNITE_CSV)

    # Création de la nouvelle table de rejet
    create_xlx()