Create CSV

dashboard.create_csv

Functions

create_csv(env, date)

Crée des fichiers CSV récapitulatifs des capacités en soins critiques et détecte les anomalies.

Cette fonction interroge les données de capacité hospitalière depuis une base de données, effectue des contrôles qualité, calcule des indicateurs à différents niveaux géographiques (département, région, national) et exporte les résultats dans plusieurs fichiers CSV.

Le traitement comprend: - Détection des anomalies (capacités nulles, disponibilités incohérentes, etc.) - Filtrage des données selon des critères de fraîcheur - Calcul d'indicateurs par type d'unité (réanimation, USC, USIC, etc.) - Agrégation des données aux niveaux départemental, régional et national - Calcul des taux d'occupation et ratios de fraîcheur

Parameters:
  • env (str) –

    Environnement de base de données à interroger ('prod', 'preprod', etc.)

  • date (str) –

    Date de traitement des données au format 'YYYY-MM-DD'

Retourne

None. Exporte 4 fichiers CSV: - {csv_dir}/recap_dep.csv : Données départementales - {csv_dir}/recap_region.csv : Données régionales - {csv_dir}/recap_tot.csv : Données nationales - {csv_dir}/anomalie.csv : Liste des anomalies détectées

Structure des CSV de sortie (hors anomalies): - new_cate: Type d'unité (Réanimation, USC, USIC, etc.) - lit_capacite_tot: Capacité totale en lits - lit_capacite: Capacité en lits disponible respectant les critères de fraîcheur - lit_dispo: Nombre de lits disponibles - fraicheur: Ratio de fraîcheur des données (0-1) - taux_occ: Taux d'occupation (0-1)

Types d'anomalies détectées: - Capacité vide - Capacité nulle avec disponibilité non nulle - Disponibilité vide - Disponibilité supérieure à la capacité - Disponibilité négative - Capacité aberrante (100 lits en IDF)

Lève

DatabaseError: Si la connexion à la base de données échoue ValueError: Si le format de date en entrée est invalide IOError: Si les fichiers CSV ne peuvent pas être écrits

Exemple

create_csv("prod", "2023-12-01")

Source code in dashboard/create_csv.py
def create_csv(env:str, date:str) -> None:
    """
    Crée des fichiers CSV récapitulatifs des capacités en soins critiques et détecte les anomalies.

    Cette fonction interroge les données de capacité hospitalière depuis une base de données,
    effectue des contrôles qualité, calcule des indicateurs à différents niveaux géographiques
    (département, région, national) et exporte les résultats dans plusieurs fichiers CSV.

    Le traitement comprend:
    - Détection des anomalies (capacités nulles, disponibilités incohérentes, etc.)
    - Filtrage des données selon des critères de fraîcheur
    - Calcul d'indicateurs par type d'unité (réanimation, USC, USIC, etc.)
    - Agrégation des données aux niveaux départemental, régional et national
    - Calcul des taux d'occupation et ratios de fraîcheur

    Arguments:
        env (str): Environnement de base de données à interroger ('prod', 'preprod', etc.)
        date (str): Date de traitement des données au format 'YYYY-MM-DD'

    Retourne:
        None. Exporte 4 fichiers CSV:
        - {csv_dir}/recap_dep.csv : Données départementales
        - {csv_dir}/recap_region.csv : Données régionales
        - {csv_dir}/recap_tot.csv : Données nationales
        - {csv_dir}/anomalie.csv : Liste des anomalies détectées

    Structure des CSV de sortie (hors anomalies):
        - new_cate: Type d'unité (Réanimation, USC, USIC, etc.)
        - lit_capacite_tot: Capacité totale en lits
        - lit_capacite: Capacité en lits disponible respectant les critères de fraîcheur
        - lit_dispo: Nombre de lits disponibles
        - fraicheur: Ratio de fraîcheur des données (0-1)
        - taux_occ: Taux d'occupation (0-1)

    Types d'anomalies détectées:
        - Capacité vide
        - Capacité nulle avec disponibilité non nulle
        - Disponibilité vide
        - Disponibilité supérieure à la capacité
        - Disponibilité négative
        - Capacité aberrante (100 lits en IDF)

    Lève:
        DatabaseError: Si la connexion à la base de données échoue
        ValueError: Si le format de date en entrée est invalide
        IOError: Si les fichiers CSV ne peuvent pas être écrits

    Exemple:
        >>> create_csv("prod", "2023-12-01")
    """

    _dt_manager = DateTimeManager(date)

    # Variables à exporter pour compatibilité avec vos anciens imports
    hour_exec          = _dt_manager.execution_hour
    today_Ymd_short    = _dt_manager.today_Ymd_short
    today_Ymd_long     = _dt_manager.today_Ymd_long

    union = req2table(f"SELECT * FROM table_union WHERE capacite_extract_datetime::date = '{today_Ymd_long}' AND h_exec='{hour_exec}'", env)
    union = union.drop_duplicates()
    logger.debug(f"SELECT * FROM table_union WHERE capacite_extract_datetime::date = '{today_Ymd_long}' AND h_exec='{hour_exec}'")
    logger.debug(union)
    # ----------------- Filtre capa vide et détections anomalie ----------
    df = union
    df_capa_vide = df[df["lit_capacite"].isnull()]
    df_capa_vide["type"] = "Capacité vide"
    df_capa_vide["Supprimé"] = True

    df_idf_100 = df[(df['region'] == "IDF") & (df["lit_capacite"] == 100)]
    df_idf_100["type"] = "IDF capacité 100"
    df_idf_100["Supprimé"] = True

    df = df[~df["lit_capacite"].isnull()]
    # df = df[df["sous_categorie_lit"] != "rea_brules"]
    df = df[(df["region"] != "IDF") | (df["lit_capacite"] != 100)]
    # df = df[(df["region"] != "IDF") | (~df["discipline"].isin(['Soins critiques COVID +', 'Soins critiques COVID -',
    #                                                            'USC COVID +', 'USC COVID -']))]
    data_fraiche = df[((df["region"].isin(["MAR", "GUY", "GUA"])) & (df["dispo_maj_fraicheur"] <= 48)) |\
                    ((~df["region"].isin(["MAR", "GUY", "GUA"])) & (df["dispo_maj_fraicheur"] <= 24))]

    df_capa_nulle_dispo_non_null = data_fraiche[(data_fraiche["lit_capacite"] == 0) & (data_fraiche["lit_dispo"] != 0)]
    df_capa_nulle_dispo_non_null["type"] = "Capacité nulle et dispo non nulle"
    df_capa_nulle_dispo_non_null["Supprimé"] = False

    df_dispo_vide = data_fraiche.loc[data_fraiche["lit_dispo"].isnull()]
    df_dispo_vide["type"] = "Dispo vide"
    df_dispo_vide["Supprimé"] = False

    df_dispo_sup_cap = data_fraiche.loc[(data_fraiche["lit_dispo"] > data_fraiche["lit_capacite"])\
                                        & (data_fraiche["lit_capacite"] != 0)]
    df_dispo_sup_cap["type"] = "Dispo supérieure capacité"
    df_dispo_sup_cap["Supprimé"] = False

    df_dispo_neg = data_fraiche.loc[data_fraiche["lit_dispo"] < 0]
    df_dispo_neg["type"] = "Disponibilité négative"
    df_dispo_neg["Supprimé"] = False


    anomalie = pd.concat([df_capa_vide, df_capa_nulle_dispo_non_null, df_dispo_vide,
                        df_dispo_sup_cap, df_dispo_neg, df_idf_100])

    capa_vide = df_capa_vide.shape[0]
    capa_nulle_dispo_non_null = df_capa_nulle_dispo_non_null.shape[0]
    dispo_vide = df_dispo_vide.shape[0]
    dispo_sup_cap = df_dispo_sup_cap.shape[0]
    dispo_neg = df_dispo_neg.shape[0]
    idf_100 = df_idf_100.shape[0]

    #%% ------------------- Reproduction SAS -----------------
    # Nouvelles catégories
    df["new_cate"] = np.repeat(np.nan, df.shape[0])
    df["new_cate"] = df["new_cate"].astype("object")
    df.loc[df["categorie_lit"] == "reanimation", "new_cate"] = "Réanimation"
    df.loc[df["categorie_lit"] == "surveillance_continue", "new_cate"] = "Surveillance continue"
    df.loc[df["sous_categorie_lit"] == "rea_brules", "new_cate"] = "Réanimation brûlés"
    df.loc[df["sous_categorie_lit"] == "usc_brules", "new_cate"] = "USC brûlés"
    df.loc[df["sous_categorie_lit"] == "usin", "new_cate"] = "USINV"
    df.loc[df["sous_categorie_lit"] == "usic", "new_cate"] = "USIC"
    df.loc[df["sous_categorie_lit"] == "autres_usi", "new_cate"] = "Autres USI"

    # aggrégation niveau region 
    df_region = df
    try :
        df_region_frais = df_region[((~df_region["region"].isin(["MAR", "GUY", "GUA"])) & (df_region["dispo_maj_fraicheur"] <= 24)) | \
                            ((df_region["region"].isin(["MAR", "GUY", "GUA"])) & (df_region["dispo_maj_fraicheur"] <= 48))]
        df_region_frais = df_region_frais[df_region_frais['lit_capacite'] >= df_region_frais['lit_dispo']]
        recap_region = df_region.groupby(["region", "new_cate"])["lit_capacite"].sum().reset_index(name = "lit_capacite_tot")
        recap_frais = df_region_frais.groupby(["region", "new_cate"], as_index = False)[["lit_capacite", 'lit_dispo']].sum()
        recap_region = recap_region.merge(recap_frais, how = 'left', on =["region", "new_cate"])
        fraicheur = df_region_frais.groupby(["region", "new_cate"])["lit_capacite"].sum() \
            / df_region.groupby(["region", "new_cate"])["lit_capacite"].sum()
        fraicheur = pd.DataFrame({'fraicheur':fraicheur.round(2)})
        logger.debug(fraicheur)
        logger.debug(recap_region)
        fraicheur["region"] = [ind[0] for ind in fraicheur.index]
        fraicheur["new_cate"] = [ind[1] for ind in fraicheur.index]
        fraicheur = fraicheur.reset_index(drop = True)
        recap_region = recap_region.merge(fraicheur, how = 'left', on =["region", "new_cate"])
        recap_region["taux_occ"] = ((recap_region["lit_capacite"] - recap_region["lit_dispo"]) \
            / recap_region["lit_capacite"]).round(2)
    except:
        logger.exception("Erreur merge fraicheur et recp_region")
    #test = pd.pivot_table(recap_region, index = 'region', columns = 'new_cate')


    # aggrégation départements 
    df_dep = df
    df_dep_frais = df_dep[((~df_dep["region"].isin(["MAR", "GUY", "GUA"])) & (df_dep["dispo_maj_fraicheur"] <= 24)) | \
                        ((df_dep["region"].isin(["MAR", "GUY", "GUA"])) & (df_dep["dispo_maj_fraicheur"] <= 48))]
    df_dep_frais = df_dep_frais[df_dep_frais['lit_capacite'] >= df_dep_frais['lit_dispo']]
    recap_dep = df_dep.groupby(["departement", "new_cate"])["lit_capacite"].sum().reset_index(name = "lit_capacite_tot")
    recap_frais = df_dep_frais.groupby(["departement", "new_cate"], as_index = False)[["lit_capacite", 'lit_dispo']].sum()
    recap_dep = recap_dep.merge(recap_frais, how = 'left', on =["departement", "new_cate"])
    fraicheur = df_dep_frais.groupby(["departement", "new_cate"])["lit_capacite"].sum() \
        / df_dep.groupby(["departement", "new_cate"])["lit_capacite"].sum()
    fraicheur = pd.DataFrame({'fraicheur':fraicheur.round(2)})
    fraicheur["departement"] = [ind[0] for ind in fraicheur.index]
    fraicheur["new_cate"] = [ind[1] for ind in fraicheur.index]
    fraicheur = fraicheur.reset_index(drop = True)
    recap_dep = recap_dep.merge(fraicheur, how = 'left', on =["departement", "new_cate"])
    recap_dep["taux_occ"] = ((recap_dep["lit_capacite"] - recap_dep["lit_dispo"]) / recap_dep["lit_capacite"])\
        .round(2)


    # total 
    df_tot = df
    df_tot_frais = df_tot[((~df_tot["region"].isin(["MAR", "GUY", "GUA"])) & (df_tot["dispo_maj_fraicheur"] <= 24)) | \
                        ((df_tot["region"].isin(["MAR", "GUY" ,"GUA"])) & (df_tot["dispo_maj_fraicheur"] <= 48))]
    df_tot_frais = df_tot_frais[df_tot_frais['lit_capacite'] >= df_tot_frais['lit_dispo']]
    recap_tot = df_tot_frais.groupby(["new_cate"])[["lit_capacite", 'lit_dispo']].sum()
    recap_tot["lit_capacite_tot"] = df_tot.groupby(["new_cate"])["lit_capacite"].sum()
    fraicheur = df_tot_frais.groupby(["new_cate"])["lit_capacite"].sum() \
        / df_tot.groupby(["new_cate"])["lit_capacite"].sum()
    recap_tot["fraicheur"] = fraicheur.round(2)
    recap_tot["new_cate"] = recap_tot.index
    recap_tot = recap_tot.reset_index(drop = True)
    recap_tot["taux_occ"] = ((recap_tot["lit_capacite"] - recap_tot["lit_dispo"]) / recap_tot["lit_capacite"]).\
        round(2)

    # ------- Export csv --------------
    recap_dep.loc[(recap_dep["fraicheur"].isnull()) & (~recap_dep["departement"].isin(["971", "976"])), "fraicheur"] = 0
    recap_region.loc[(recap_region["fraicheur"].isnull()) & (~recap_region["region"].isin(["MAY"])),
                    "fraicheur"] = 0
    recap_tot.loc[recap_tot["fraicheur"].isnull(), "fraicheur"] = 0

    recap_dep.to_csv(f"{csv_dir}/recap_dep.csv", index = False)
    recap_region.to_csv(f"{csv_dir}/recap_region.csv", index = False)
    recap_tot.to_csv(f"{csv_dir}/recap_tot.csv", index = False)
    anomalie.to_csv(f"{csv_dir}/anomalie.csv", index = False)