Create CSV Pédiatrie
dashboard.create_csv_pedia
Functions
create_csv_pedia(env, date)
"" Crée des fichiers CSV contenant des résumés des capacités des lits pédiatriques dans différentes régions et départements, à partir des données collectées dans la base de données.
Cette fonction effectue les étapes suivantes : 1. Interrogation de la base de données pour récupérer les données pertinentes basées sur la date d'extraction. 2. Filtrage des données pour exclure les enregistrements avec des capacités vides ou des anomalies. 3. Calcul des totaux par région, département et pour l'ensemble du territoire, incluant le taux d'occupation et la fraîcheur des données. 4. Exportation des résultats dans des fichiers CSV.
Paramètres :
env : object L'environnement de connexion nécessaire pour interagir avec la base de données.
str
La date à laquelle les données doivent être récupérées, au format 'YYYY-MM-DD'.
Processus :
- Suppression des doublons et des entrées non pertinentes.
- Agrégation des données par région, département et sous-catégorie de lits.
- Calcul des taux d'occupation et des valeurs de fraîcheur.
Exceptions :
- IOException : Si le fichier CSV ne peut pas être créé ou ouvert.
- ValueError : Si les données extraites ne respectent pas les formats ou types attendus.
Source code in dashboard/create_csv_pedia.py
def create_csv_pedia(env:str, date:str) -> None:
"""
""
Crée des fichiers CSV contenant des résumés des capacités des lits pédiatriques
dans différentes régions et départements, à partir des données collectées
dans la base de données.
Cette fonction effectue les étapes suivantes :
1. Interrogation de la base de données pour récupérer les données pertinentes
basées sur la date d'extraction.
2. Filtrage des données pour exclure les enregistrements avec des capacités
vides ou des anomalies.
3. Calcul des totaux par région, département et pour l'ensemble du territoire,
incluant le taux d'occupation et la fraîcheur des données.
4. Exportation des résultats dans des fichiers CSV.
Paramètres :
----------
env : object
L'environnement de connexion nécessaire pour interagir avec la base de données.
date : str
La date à laquelle les données doivent être récupérées, au format 'YYYY-MM-DD'.
Processus :
----------
- Suppression des doublons et des entrées non pertinentes.
- Agrégation des données par région, département et sous-catégorie de lits.
- Calcul des taux d'occupation et des valeurs de fraîcheur.
Exceptions :
------------
- IOException : Si le fichier CSV ne peut pas être créé ou ouvert.
- ValueError : Si les données extraites ne respectent pas les formats ou types attendus.
"""
_dt_manager = DateTimeManager(date)
# Variables à exporter pour compatibilité avec vos anciens imports
hour_exec = _dt_manager.execution_hour
today_Ymd_long = _dt_manager.today_Ymd_long
union = req2table(f"SELECT * FROM table_union WHERE categorie_lit::text = 'pediatrie' AND capacite_extract_datetime::date = '{today_Ymd_long}' AND h_exec='{hour_exec}'",
env)
logger.info("Table union requêtée avec succés")
union = union.drop_duplicates()
logger.info("Table union dedupliquée")
# ----------------- Filtre capa vide et détections anomalie ----------
df = union
df = df[~df["lit_capacite"].isnull()]
df = df[df["sous_categorie_lit"] != "rea_brules"]
df = df[(df["region"] != "IDF") | (df["lit_capacite"] != 100)]
df.loc[df['sous_categorie_lit'] == 'rea_mixte', 'sous_categorie_lit'] = 'rea_pediatrie'
df.loc[df['sous_categorie_lit'] == 'rea_brules_possible_pediatrie', 'sous_categorie_lit'] = 'rea_pediatrie'
df.loc[df['sous_categorie_lit'] == 'usc_brules_possible_pediatrie', 'sous_categorie_lit'] = 'surveillance_continue_pediatrie'
# data_fraiche = df[((df["region"].isin(["MAR", "GUY", "GUA"])) & (df["dispo_maj_fraicheur"] <= 48)) |\
# ((~df["region"].isin(["MAR", "GUY", "GUA"])) & (df["dispo_maj_fraicheur"] <= 24))]
# df_capa_nulle_dispo_non_null = data_fraiche[(data_fraiche["lit_capacite"] == 0) & (data_fraiche["lit_dispo"] != 0)]
# df_capa_nulle_dispo_non_null["type"] = "Capacité nulle et dispo non nulle"
# df_capa_nulle_dispo_non_null["Supprimé"] = False
# df_dispo_vide = data_fraiche.loc[data_fraiche["lit_dispo"].isnull()]
# df_dispo_vide["type"] = "Dispo vide"
# df_dispo_vide["Supprimé"] = False
# df_dispo_sup_cap = data_fraiche.loc[(data_fraiche["lit_dispo"] > data_fraiche["lit_capacite"])\
# & (data_fraiche["lit_capacite"] != 0)]
# df_dispo_sup_cap["type"] = "Dispo supérieure capacité"
# df_dispo_sup_cap["Supprimé"] = False
# df_dispo_neg = data_fraiche.loc[data_fraiche["lit_dispo"] < 0]
# df_dispo_neg["type"] = "Disponibilité négative"
# df_dispo_neg["Supprimé"] = False
# anomalie = pd.concat([df_capa_vide, df_capa_nulle_dispo_non_null, df_dispo_vide,
# df_dispo_sup_cap, df_dispo_neg, df_idf_100])
# capa_vide = df_capa_vide.shape[0]
# capa_nulle_dispo_non_null = df_capa_nulle_dispo_non_null.shape[0]
# dispo_vide = df_dispo_vide.shape[0]
# dispo_sup_cap = df_dispo_sup_cap.shape[0]
# dispo_neg = df_dispo_neg.shape[0]
# idf_100 = df_idf_100.shape[0]
#%% --------- CSV pédiatrie ------------
# ------------------- Regions -----------------
df_region = df
df_region_frais = df_region[((~df_region["region"].isin(["MAR", "GUY", "GUA"])) & (df_region["dispo_maj_fraicheur"] <= 24)) | \
((df_region["region"].isin(["MAR", "GUY", "GUA"])) & (df_region["dispo_maj_fraicheur"] <= 48))]
df_region_frais = df_region_frais[df_region_frais['lit_capacite'] >= df_region_frais['lit_dispo']]
recap_region = df_region.groupby(["region", "sous_categorie_lit"])["lit_capacite"].sum().reset_index(name = "lit_capacite_tot")
recap_frais = df_region_frais.groupby(["region", "sous_categorie_lit"], as_index = False)[["lit_capacite", 'lit_dispo']].sum()
recap_region = recap_region.merge(recap_frais, how = 'left', on =["region", "sous_categorie_lit"])
fraicheur = df_region_frais.groupby(["region", "sous_categorie_lit"])["lit_capacite"].sum() \
/ df_region.groupby(["region", "sous_categorie_lit"])["lit_capacite"].sum()
fraicheur = pd.DataFrame({'fraicheur':fraicheur.round(2)})
fraicheur["region"] = [ind[0] for ind in fraicheur.index]
fraicheur["sous_categorie_lit"] = [ind[1] for ind in fraicheur.index]
fraicheur = fraicheur.reset_index(drop = True)
recap_region = recap_region.merge(fraicheur, how = 'left', on =["region", "sous_categorie_lit"])
recap_region["taux_occ"] = ((recap_region["lit_capacite"] - recap_region["lit_dispo"]) \
/ recap_region["lit_capacite"]).round(2)
#test = pd.pivot_table(recap_region, index = 'region', columns = 'sous_categorie_lit')
# ------------------- Départements -----------------
df_dep = df
df_dep_frais = df_dep[((~df_dep["region"].isin(["MAR", "GUY", "GUA"])) & (df_dep["dispo_maj_fraicheur"] <= 24)) | \
((df_dep["region"].isin(["MAR", "GUY", "GUA"])) & (df_dep["dispo_maj_fraicheur"] <= 48))]
df_dep_frais = df_dep_frais[df_dep_frais['lit_capacite'] >= df_dep_frais['lit_dispo']]
recap_dep = df_dep.groupby(["departement", "sous_categorie_lit"])["lit_capacite"].sum().reset_index(name = "lit_capacite_tot")
recap_frais = df_dep_frais.groupby(["departement", "sous_categorie_lit"], as_index = False)[["lit_capacite", 'lit_dispo']].sum()
recap_dep = recap_dep.merge(recap_frais, how = 'left', on =["departement", "sous_categorie_lit"])
fraicheur = df_dep_frais.groupby(["departement", "sous_categorie_lit"])["lit_capacite"].sum() \
/ df_dep.groupby(["departement", "sous_categorie_lit"])["lit_capacite"].sum()
fraicheur = pd.DataFrame({'fraicheur':fraicheur.round(2)})
fraicheur["departement"] = [ind[0] for ind in fraicheur.index]
fraicheur["sous_categorie_lit"] = [ind[1] for ind in fraicheur.index]
fraicheur = fraicheur.reset_index(drop = True)
recap_dep = recap_dep.merge(fraicheur, how = 'left', on =["departement", "sous_categorie_lit"])
recap_dep["taux_occ"] = ((recap_dep["lit_capacite"] - recap_dep["lit_dispo"]) / recap_dep["lit_capacite"])\
.round(2)
# ------------------- Total -----------------
df_tot = df
df_tot_frais = df_tot[((~df_tot["region"].isin(["MAR", "GUY", "GUA"])) & (df_tot["dispo_maj_fraicheur"] <= 24)) | \
((df_tot["region"].isin(["MAR", "GUY" ,"GUA"])) & (df_tot["dispo_maj_fraicheur"] <= 48))]
df_tot_frais = df_tot_frais[df_tot_frais['lit_capacite'] >= df_tot_frais['lit_dispo']]
recap_tot = df_tot_frais.groupby(["sous_categorie_lit"])[["lit_capacite", 'lit_dispo']].sum()
recap_tot["lit_capacite_tot"] = df_tot.groupby(["sous_categorie_lit"])["lit_capacite"].sum()
fraicheur = df_tot_frais.groupby(["sous_categorie_lit"])["lit_capacite"].sum() \
/ df_tot.groupby(["sous_categorie_lit"])["lit_capacite"].sum()
recap_tot["fraicheur"] = fraicheur.round(2)
recap_tot["sous_categorie_lit"] = recap_tot.index
recap_tot = recap_tot.reset_index(drop = True)
recap_tot["taux_occ"] = ((recap_tot["lit_capacite"] - recap_tot["lit_dispo"]) / recap_tot["lit_capacite"]).\
round(2)
# ------- Export csv --------------
recap_dep.loc[(recap_dep["fraicheur"].isnull()) & (~recap_dep["departement"].isin(["971", "976"])), "fraicheur"] = 0
recap_region.loc[(recap_region["fraicheur"].isnull()) & (~recap_region["region"].isin(["MAY"])),
"fraicheur"] = 0
recap_tot.loc[recap_tot["fraicheur"].isnull(), "fraicheur"] = 0
recap_dep.to_csv(f"{csv_dir}/recap_dep_pedia.csv", index = False)
recap_region.to_csv(f"{csv_dir}/recap_region_pedia.csv", index = False)
recap_tot.to_csv(f"{csv_dir}/recap_tot_pedia.csv", index = False)
logger.success("Fichiers recap dergion, dep, et totale crées")