Create CSV
dashboard.create_csv
Functions
create_csv(env, date)
Crée des fichiers CSV récapitulatifs des capacités en soins critiques et détecte les anomalies.
Cette fonction interroge les données de capacité hospitalière depuis une base de données, effectue des contrôles qualité, calcule des indicateurs à différents niveaux géographiques (département, région, national) et exporte les résultats dans plusieurs fichiers CSV.
Le traitement comprend: - Détection des anomalies (capacités nulles, disponibilités incohérentes, etc.) - Filtrage des données selon des critères de fraîcheur - Calcul d'indicateurs par type d'unité (réanimation, USC, USIC, etc.) - Agrégation des données aux niveaux départemental, régional et national - Calcul des taux d'occupation et ratios de fraîcheur
| Parameters: |
|
|---|
Retourne
None. Exporte 4 fichiers CSV: - {csv_dir}/recap_dep.csv : Données départementales - {csv_dir}/recap_region.csv : Données régionales - {csv_dir}/recap_tot.csv : Données nationales - {csv_dir}/anomalie.csv : Liste des anomalies détectées
Structure des CSV de sortie (hors anomalies): - new_cate: Type d'unité (Réanimation, USC, USIC, etc.) - lit_capacite_tot: Capacité totale en lits - lit_capacite: Capacité en lits disponible respectant les critères de fraîcheur - lit_dispo: Nombre de lits disponibles - fraicheur: Ratio de fraîcheur des données (0-1) - taux_occ: Taux d'occupation (0-1)
Types d'anomalies détectées: - Capacité vide - Capacité nulle avec disponibilité non nulle - Disponibilité vide - Disponibilité supérieure à la capacité - Disponibilité négative - Capacité aberrante (100 lits en IDF)
Lève
DatabaseError: Si la connexion à la base de données échoue ValueError: Si le format de date en entrée est invalide IOError: Si les fichiers CSV ne peuvent pas être écrits
Exemple
create_csv("prod", "2023-12-01")
Source code in dashboard/create_csv.py
def create_csv(env:str, date:str) -> None:
"""
Crée des fichiers CSV récapitulatifs des capacités en soins critiques et détecte les anomalies.
Cette fonction interroge les données de capacité hospitalière depuis une base de données,
effectue des contrôles qualité, calcule des indicateurs à différents niveaux géographiques
(département, région, national) et exporte les résultats dans plusieurs fichiers CSV.
Le traitement comprend:
- Détection des anomalies (capacités nulles, disponibilités incohérentes, etc.)
- Filtrage des données selon des critères de fraîcheur
- Calcul d'indicateurs par type d'unité (réanimation, USC, USIC, etc.)
- Agrégation des données aux niveaux départemental, régional et national
- Calcul des taux d'occupation et ratios de fraîcheur
Arguments:
env (str): Environnement de base de données à interroger ('prod', 'preprod', etc.)
date (str): Date de traitement des données au format 'YYYY-MM-DD'
Retourne:
None. Exporte 4 fichiers CSV:
- {csv_dir}/recap_dep.csv : Données départementales
- {csv_dir}/recap_region.csv : Données régionales
- {csv_dir}/recap_tot.csv : Données nationales
- {csv_dir}/anomalie.csv : Liste des anomalies détectées
Structure des CSV de sortie (hors anomalies):
- new_cate: Type d'unité (Réanimation, USC, USIC, etc.)
- lit_capacite_tot: Capacité totale en lits
- lit_capacite: Capacité en lits disponible respectant les critères de fraîcheur
- lit_dispo: Nombre de lits disponibles
- fraicheur: Ratio de fraîcheur des données (0-1)
- taux_occ: Taux d'occupation (0-1)
Types d'anomalies détectées:
- Capacité vide
- Capacité nulle avec disponibilité non nulle
- Disponibilité vide
- Disponibilité supérieure à la capacité
- Disponibilité négative
- Capacité aberrante (100 lits en IDF)
Lève:
DatabaseError: Si la connexion à la base de données échoue
ValueError: Si le format de date en entrée est invalide
IOError: Si les fichiers CSV ne peuvent pas être écrits
Exemple:
>>> create_csv("prod", "2023-12-01")
"""
_dt_manager = DateTimeManager(date)
# Variables à exporter pour compatibilité avec vos anciens imports
hour_exec = _dt_manager.execution_hour
today_Ymd_short = _dt_manager.today_Ymd_short
today_Ymd_long = _dt_manager.today_Ymd_long
union = req2table(f"SELECT * FROM table_union WHERE capacite_extract_datetime::date = '{today_Ymd_long}' AND h_exec='{hour_exec}'", env)
union = union.drop_duplicates()
logger.debug(f"SELECT * FROM table_union WHERE capacite_extract_datetime::date = '{today_Ymd_long}' AND h_exec='{hour_exec}'")
logger.debug(union)
# ----------------- Filtre capa vide et détections anomalie ----------
df = union
df_capa_vide = df[df["lit_capacite"].isnull()]
df_capa_vide["type"] = "Capacité vide"
df_capa_vide["Supprimé"] = True
df_idf_100 = df[(df['region'] == "IDF") & (df["lit_capacite"] == 100)]
df_idf_100["type"] = "IDF capacité 100"
df_idf_100["Supprimé"] = True
df = df[~df["lit_capacite"].isnull()]
# df = df[df["sous_categorie_lit"] != "rea_brules"]
df = df[(df["region"] != "IDF") | (df["lit_capacite"] != 100)]
# df = df[(df["region"] != "IDF") | (~df["discipline"].isin(['Soins critiques COVID +', 'Soins critiques COVID -',
# 'USC COVID +', 'USC COVID -']))]
data_fraiche = df[((df["region"].isin(["MAR", "GUY", "GUA"])) & (df["dispo_maj_fraicheur"] <= 48)) |\
((~df["region"].isin(["MAR", "GUY", "GUA"])) & (df["dispo_maj_fraicheur"] <= 24))]
df_capa_nulle_dispo_non_null = data_fraiche[(data_fraiche["lit_capacite"] == 0) & (data_fraiche["lit_dispo"] != 0)]
df_capa_nulle_dispo_non_null["type"] = "Capacité nulle et dispo non nulle"
df_capa_nulle_dispo_non_null["Supprimé"] = False
df_dispo_vide = data_fraiche.loc[data_fraiche["lit_dispo"].isnull()]
df_dispo_vide["type"] = "Dispo vide"
df_dispo_vide["Supprimé"] = False
df_dispo_sup_cap = data_fraiche.loc[(data_fraiche["lit_dispo"] > data_fraiche["lit_capacite"])\
& (data_fraiche["lit_capacite"] != 0)]
df_dispo_sup_cap["type"] = "Dispo supérieure capacité"
df_dispo_sup_cap["Supprimé"] = False
df_dispo_neg = data_fraiche.loc[data_fraiche["lit_dispo"] < 0]
df_dispo_neg["type"] = "Disponibilité négative"
df_dispo_neg["Supprimé"] = False
anomalie = pd.concat([df_capa_vide, df_capa_nulle_dispo_non_null, df_dispo_vide,
df_dispo_sup_cap, df_dispo_neg, df_idf_100])
capa_vide = df_capa_vide.shape[0]
capa_nulle_dispo_non_null = df_capa_nulle_dispo_non_null.shape[0]
dispo_vide = df_dispo_vide.shape[0]
dispo_sup_cap = df_dispo_sup_cap.shape[0]
dispo_neg = df_dispo_neg.shape[0]
idf_100 = df_idf_100.shape[0]
#%% ------------------- Reproduction SAS -----------------
# Nouvelles catégories
df["new_cate"] = np.repeat(np.nan, df.shape[0])
df["new_cate"] = df["new_cate"].astype("object")
df.loc[df["categorie_lit"] == "reanimation", "new_cate"] = "Réanimation"
df.loc[df["categorie_lit"] == "surveillance_continue", "new_cate"] = "Surveillance continue"
df.loc[df["sous_categorie_lit"] == "rea_brules", "new_cate"] = "Réanimation brûlés"
df.loc[df["sous_categorie_lit"] == "usc_brules", "new_cate"] = "USC brûlés"
df.loc[df["sous_categorie_lit"] == "usin", "new_cate"] = "USINV"
df.loc[df["sous_categorie_lit"] == "usic", "new_cate"] = "USIC"
df.loc[df["sous_categorie_lit"] == "autres_usi", "new_cate"] = "Autres USI"
# aggrégation niveau region
df_region = df
try :
df_region_frais = df_region[((~df_region["region"].isin(["MAR", "GUY", "GUA"])) & (df_region["dispo_maj_fraicheur"] <= 24)) | \
((df_region["region"].isin(["MAR", "GUY", "GUA"])) & (df_region["dispo_maj_fraicheur"] <= 48))]
df_region_frais = df_region_frais[df_region_frais['lit_capacite'] >= df_region_frais['lit_dispo']]
recap_region = df_region.groupby(["region", "new_cate"])["lit_capacite"].sum().reset_index(name = "lit_capacite_tot")
recap_frais = df_region_frais.groupby(["region", "new_cate"], as_index = False)[["lit_capacite", 'lit_dispo']].sum()
recap_region = recap_region.merge(recap_frais, how = 'left', on =["region", "new_cate"])
fraicheur = df_region_frais.groupby(["region", "new_cate"])["lit_capacite"].sum() \
/ df_region.groupby(["region", "new_cate"])["lit_capacite"].sum()
fraicheur = pd.DataFrame({'fraicheur':fraicheur.round(2)})
logger.debug(fraicheur)
logger.debug(recap_region)
fraicheur["region"] = [ind[0] for ind in fraicheur.index]
fraicheur["new_cate"] = [ind[1] for ind in fraicheur.index]
fraicheur = fraicheur.reset_index(drop = True)
recap_region = recap_region.merge(fraicheur, how = 'left', on =["region", "new_cate"])
recap_region["taux_occ"] = ((recap_region["lit_capacite"] - recap_region["lit_dispo"]) \
/ recap_region["lit_capacite"]).round(2)
except:
logger.exception("Erreur merge fraicheur et recp_region")
#test = pd.pivot_table(recap_region, index = 'region', columns = 'new_cate')
# aggrégation départements
df_dep = df
df_dep_frais = df_dep[((~df_dep["region"].isin(["MAR", "GUY", "GUA"])) & (df_dep["dispo_maj_fraicheur"] <= 24)) | \
((df_dep["region"].isin(["MAR", "GUY", "GUA"])) & (df_dep["dispo_maj_fraicheur"] <= 48))]
df_dep_frais = df_dep_frais[df_dep_frais['lit_capacite'] >= df_dep_frais['lit_dispo']]
recap_dep = df_dep.groupby(["departement", "new_cate"])["lit_capacite"].sum().reset_index(name = "lit_capacite_tot")
recap_frais = df_dep_frais.groupby(["departement", "new_cate"], as_index = False)[["lit_capacite", 'lit_dispo']].sum()
recap_dep = recap_dep.merge(recap_frais, how = 'left', on =["departement", "new_cate"])
fraicheur = df_dep_frais.groupby(["departement", "new_cate"])["lit_capacite"].sum() \
/ df_dep.groupby(["departement", "new_cate"])["lit_capacite"].sum()
fraicheur = pd.DataFrame({'fraicheur':fraicheur.round(2)})
fraicheur["departement"] = [ind[0] for ind in fraicheur.index]
fraicheur["new_cate"] = [ind[1] for ind in fraicheur.index]
fraicheur = fraicheur.reset_index(drop = True)
recap_dep = recap_dep.merge(fraicheur, how = 'left', on =["departement", "new_cate"])
recap_dep["taux_occ"] = ((recap_dep["lit_capacite"] - recap_dep["lit_dispo"]) / recap_dep["lit_capacite"])\
.round(2)
# total
df_tot = df
df_tot_frais = df_tot[((~df_tot["region"].isin(["MAR", "GUY", "GUA"])) & (df_tot["dispo_maj_fraicheur"] <= 24)) | \
((df_tot["region"].isin(["MAR", "GUY" ,"GUA"])) & (df_tot["dispo_maj_fraicheur"] <= 48))]
df_tot_frais = df_tot_frais[df_tot_frais['lit_capacite'] >= df_tot_frais['lit_dispo']]
recap_tot = df_tot_frais.groupby(["new_cate"])[["lit_capacite", 'lit_dispo']].sum()
recap_tot["lit_capacite_tot"] = df_tot.groupby(["new_cate"])["lit_capacite"].sum()
fraicheur = df_tot_frais.groupby(["new_cate"])["lit_capacite"].sum() \
/ df_tot.groupby(["new_cate"])["lit_capacite"].sum()
recap_tot["fraicheur"] = fraicheur.round(2)
recap_tot["new_cate"] = recap_tot.index
recap_tot = recap_tot.reset_index(drop = True)
recap_tot["taux_occ"] = ((recap_tot["lit_capacite"] - recap_tot["lit_dispo"]) / recap_tot["lit_capacite"]).\
round(2)
# ------- Export csv --------------
recap_dep.loc[(recap_dep["fraicheur"].isnull()) & (~recap_dep["departement"].isin(["971", "976"])), "fraicheur"] = 0
recap_region.loc[(recap_region["fraicheur"].isnull()) & (~recap_region["region"].isin(["MAY"])),
"fraicheur"] = 0
recap_tot.loc[recap_tot["fraicheur"].isnull(), "fraicheur"] = 0
recap_dep.to_csv(f"{csv_dir}/recap_dep.csv", index = False)
recap_region.to_csv(f"{csv_dir}/recap_region.csv", index = False)
recap_tot.to_csv(f"{csv_dir}/recap_tot.csv", index = False)
anomalie.to_csv(f"{csv_dir}/anomalie.csv", index = False)