Create CSV Pédiatrie

dashboard.create_csv_pedia

Functions

create_csv_pedia(env, date)

"" Crée des fichiers CSV contenant des résumés des capacités des lits pédiatriques dans différentes régions et départements, à partir des données collectées dans la base de données.

Cette fonction effectue les étapes suivantes : 1. Interrogation de la base de données pour récupérer les données pertinentes basées sur la date d'extraction. 2. Filtrage des données pour exclure les enregistrements avec des capacités vides ou des anomalies. 3. Calcul des totaux par région, département et pour l'ensemble du territoire, incluant le taux d'occupation et la fraîcheur des données. 4. Exportation des résultats dans des fichiers CSV.

Paramètres :

env : object L'environnement de connexion nécessaire pour interagir avec la base de données.

str

La date à laquelle les données doivent être récupérées, au format 'YYYY-MM-DD'.

Processus :
  • Suppression des doublons et des entrées non pertinentes.
  • Agrégation des données par région, département et sous-catégorie de lits.
  • Calcul des taux d'occupation et des valeurs de fraîcheur.
Exceptions :
  • IOException : Si le fichier CSV ne peut pas être créé ou ouvert.
  • ValueError : Si les données extraites ne respectent pas les formats ou types attendus.
Source code in dashboard/create_csv_pedia.py
def create_csv_pedia(env:str, date:str) -> None:
    """
    ""
    Crée des fichiers CSV contenant des résumés des capacités des lits pédiatriques 
    dans différentes régions et départements, à partir des données collectées 
    dans la base de données.

    Cette fonction effectue les étapes suivantes :
    1. Interrogation de la base de données pour récupérer les données pertinentes 
       basées sur la date d'extraction.
    2. Filtrage des données pour exclure les enregistrements avec des capacités 
       vides ou des anomalies.
    3. Calcul des totaux par région, département et pour l'ensemble du territoire,
       incluant le taux d'occupation et la fraîcheur des données.
    4. Exportation des résultats dans des fichiers CSV.

    Paramètres :
    ----------
    env : object
        L'environnement de connexion nécessaire pour interagir avec la base de données.

    date : str
        La date à laquelle les données doivent être récupérées, au format 'YYYY-MM-DD'.

    Processus :
    ----------
    - Suppression des doublons et des entrées non pertinentes.
    - Agrégation des données par région, département et sous-catégorie de lits.
    - Calcul des taux d'occupation et des valeurs de fraîcheur.

    Exceptions :
    ------------
    - IOException : Si le fichier CSV ne peut pas être créé ou ouvert.
    - ValueError : Si les données extraites ne respectent pas les formats ou types attendus.
    """

    _dt_manager = DateTimeManager(date)

    # Variables à exporter pour compatibilité avec vos anciens imports
    hour_exec          = _dt_manager.execution_hour
    today_Ymd_long     = _dt_manager.today_Ymd_long


    union = req2table(f"SELECT * FROM table_union WHERE categorie_lit::text = 'pediatrie' AND capacite_extract_datetime::date = '{today_Ymd_long}' AND h_exec='{hour_exec}'",
                        env)
    logger.info("Table union requêtée avec succés")
    union = union.drop_duplicates()
    logger.info("Table union dedupliquée")
    # ----------------- Filtre capa vide et détections anomalie ----------
    df = union
    df = df[~df["lit_capacite"].isnull()]
    df = df[df["sous_categorie_lit"] != "rea_brules"]
    df = df[(df["region"] != "IDF") | (df["lit_capacite"] != 100)]
    df.loc[df['sous_categorie_lit'] == 'rea_mixte', 'sous_categorie_lit'] = 'rea_pediatrie'
    df.loc[df['sous_categorie_lit'] == 'rea_brules_possible_pediatrie', 'sous_categorie_lit'] = 'rea_pediatrie'
    df.loc[df['sous_categorie_lit'] == 'usc_brules_possible_pediatrie', 'sous_categorie_lit'] = 'surveillance_continue_pediatrie'


    # data_fraiche = df[((df["region"].isin(["MAR", "GUY", "GUA"])) & (df["dispo_maj_fraicheur"] <= 48)) |\
    #                   ((~df["region"].isin(["MAR", "GUY", "GUA"])) & (df["dispo_maj_fraicheur"] <= 24))]

    # df_capa_nulle_dispo_non_null = data_fraiche[(data_fraiche["lit_capacite"] == 0) & (data_fraiche["lit_dispo"] != 0)]
    # df_capa_nulle_dispo_non_null["type"] = "Capacité nulle et dispo non nulle"
    # df_capa_nulle_dispo_non_null["Supprimé"] = False

    # df_dispo_vide = data_fraiche.loc[data_fraiche["lit_dispo"].isnull()]
    # df_dispo_vide["type"] = "Dispo vide"
    # df_dispo_vide["Supprimé"] = False

    # df_dispo_sup_cap = data_fraiche.loc[(data_fraiche["lit_dispo"] > data_fraiche["lit_capacite"])\
    #                                     & (data_fraiche["lit_capacite"] != 0)]
    # df_dispo_sup_cap["type"] = "Dispo supérieure capacité"
    # df_dispo_sup_cap["Supprimé"] = False

    # df_dispo_neg = data_fraiche.loc[data_fraiche["lit_dispo"] < 0]
    # df_dispo_neg["type"] = "Disponibilité négative"
    # df_dispo_neg["Supprimé"] = False


    # anomalie = pd.concat([df_capa_vide, df_capa_nulle_dispo_non_null, df_dispo_vide,
    #                       df_dispo_sup_cap, df_dispo_neg, df_idf_100])

    # capa_vide = df_capa_vide.shape[0]
    # capa_nulle_dispo_non_null = df_capa_nulle_dispo_non_null.shape[0]
    # dispo_vide = df_dispo_vide.shape[0]
    # dispo_sup_cap = df_dispo_sup_cap.shape[0]
    # dispo_neg = df_dispo_neg.shape[0]
    # idf_100 = df_idf_100.shape[0]

    #%% --------- CSV pédiatrie ------------
    # ------------------- Regions  -----------------
    df_region = df
    df_region_frais = df_region[((~df_region["region"].isin(["MAR", "GUY", "GUA"])) & (df_region["dispo_maj_fraicheur"] <= 24)) | \
                        ((df_region["region"].isin(["MAR", "GUY", "GUA"])) & (df_region["dispo_maj_fraicheur"] <= 48))]
    df_region_frais = df_region_frais[df_region_frais['lit_capacite'] >= df_region_frais['lit_dispo']]
    recap_region = df_region.groupby(["region", "sous_categorie_lit"])["lit_capacite"].sum().reset_index(name = "lit_capacite_tot")
    recap_frais = df_region_frais.groupby(["region", "sous_categorie_lit"], as_index = False)[["lit_capacite", 'lit_dispo']].sum()
    recap_region = recap_region.merge(recap_frais, how = 'left', on =["region", "sous_categorie_lit"])
    fraicheur = df_region_frais.groupby(["region", "sous_categorie_lit"])["lit_capacite"].sum() \
        / df_region.groupby(["region", "sous_categorie_lit"])["lit_capacite"].sum()
    fraicheur = pd.DataFrame({'fraicheur':fraicheur.round(2)})
    fraicheur["region"] = [ind[0] for ind in fraicheur.index]
    fraicheur["sous_categorie_lit"] = [ind[1] for ind in fraicheur.index]
    fraicheur = fraicheur.reset_index(drop = True)
    recap_region = recap_region.merge(fraicheur, how = 'left', on =["region", "sous_categorie_lit"])
    recap_region["taux_occ"] = ((recap_region["lit_capacite"] - recap_region["lit_dispo"]) \
        / recap_region["lit_capacite"]).round(2)
    #test = pd.pivot_table(recap_region, index = 'region', columns = 'sous_categorie_lit')


    # ------------------- Départements  -----------------
    df_dep = df
    df_dep_frais = df_dep[((~df_dep["region"].isin(["MAR", "GUY", "GUA"])) & (df_dep["dispo_maj_fraicheur"] <= 24)) | \
                        ((df_dep["region"].isin(["MAR", "GUY", "GUA"])) & (df_dep["dispo_maj_fraicheur"] <= 48))]
    df_dep_frais = df_dep_frais[df_dep_frais['lit_capacite'] >= df_dep_frais['lit_dispo']]
    recap_dep = df_dep.groupby(["departement", "sous_categorie_lit"])["lit_capacite"].sum().reset_index(name = "lit_capacite_tot")
    recap_frais = df_dep_frais.groupby(["departement", "sous_categorie_lit"], as_index = False)[["lit_capacite", 'lit_dispo']].sum()
    recap_dep = recap_dep.merge(recap_frais, how = 'left', on =["departement", "sous_categorie_lit"])
    fraicheur = df_dep_frais.groupby(["departement", "sous_categorie_lit"])["lit_capacite"].sum() \
        / df_dep.groupby(["departement", "sous_categorie_lit"])["lit_capacite"].sum()
    fraicheur = pd.DataFrame({'fraicheur':fraicheur.round(2)})
    fraicheur["departement"] = [ind[0] for ind in fraicheur.index]
    fraicheur["sous_categorie_lit"] = [ind[1] for ind in fraicheur.index]
    fraicheur = fraicheur.reset_index(drop = True)
    recap_dep = recap_dep.merge(fraicheur, how = 'left', on =["departement", "sous_categorie_lit"])
    recap_dep["taux_occ"] = ((recap_dep["lit_capacite"] - recap_dep["lit_dispo"]) / recap_dep["lit_capacite"])\
        .round(2)


    # ------------------- Total  ----------------- 
    df_tot = df
    df_tot_frais = df_tot[((~df_tot["region"].isin(["MAR", "GUY", "GUA"])) & (df_tot["dispo_maj_fraicheur"] <= 24)) | \
                        ((df_tot["region"].isin(["MAR", "GUY" ,"GUA"])) & (df_tot["dispo_maj_fraicheur"] <= 48))]
    df_tot_frais = df_tot_frais[df_tot_frais['lit_capacite'] >= df_tot_frais['lit_dispo']]
    recap_tot = df_tot_frais.groupby(["sous_categorie_lit"])[["lit_capacite", 'lit_dispo']].sum()
    recap_tot["lit_capacite_tot"] = df_tot.groupby(["sous_categorie_lit"])["lit_capacite"].sum()
    fraicheur = df_tot_frais.groupby(["sous_categorie_lit"])["lit_capacite"].sum() \
        / df_tot.groupby(["sous_categorie_lit"])["lit_capacite"].sum()
    recap_tot["fraicheur"] = fraicheur.round(2)
    recap_tot["sous_categorie_lit"] = recap_tot.index
    recap_tot = recap_tot.reset_index(drop = True)
    recap_tot["taux_occ"] = ((recap_tot["lit_capacite"] - recap_tot["lit_dispo"]) / recap_tot["lit_capacite"]).\
        round(2)

    # ------- Export csv --------------
    recap_dep.loc[(recap_dep["fraicheur"].isnull()) & (~recap_dep["departement"].isin(["971", "976"])), "fraicheur"] = 0
    recap_region.loc[(recap_region["fraicheur"].isnull()) & (~recap_region["region"].isin(["MAY"])),
                    "fraicheur"] = 0
    recap_tot.loc[recap_tot["fraicheur"].isnull(), "fraicheur"] = 0
    recap_dep.to_csv(f"{csv_dir}/recap_dep_pedia.csv", index = False)
    recap_region.to_csv(f"{csv_dir}/recap_region_pedia.csv", index = False)
    recap_tot.to_csv(f"{csv_dir}/recap_tot_pedia.csv", index = False)

    logger.success("Fichiers recap dergion, dep, et totale crées")