Main intégration API

Fonction d'entré pour requeter l'API ROR-National et injecter dans la base de données SQL de CEGEDIM

src.main.main(env, date, config_file_dir=None, csv_file=False)

Fonction principale d'exécution du pipeline de traitement des données ROR.

Cette fonction orchestre l'ensemble du processus de récupération des données depuis les API, la fusion des résultats et leur préparation pour l'injection dans le système ROR.

Paramètres

env : str Spécification de l'environnement (ex: "production", "development") date : str Chaîne de caractères représentant la date pour l'extraction des données

Retourne

None Les résultats sont sauvegardés dans des fichiers CSV dans le dossier d'export spécifié

Notes

La fonction effectue les étapes suivantes : 1. Configure la journalisation 2. Effectue la requête des données de services de santé 3. Effectue la requête des données de localisation 4. Fusionne les jeux de données 5. Effectue les transformations finales des données 6. Sauvegarde les résultats dans dans la base de données

Exemples:

main(env=env, date="2025-02-19T11:00")

Source code in src/main.py
def main(env, date, config_file_dir=None, csv_file=False):
    """
    Fonction principale d'exécution du pipeline de traitement des données ROR.

    Cette fonction orchestre l'ensemble du processus de récupération des données depuis les API,
    la fusion des résultats et leur préparation pour l'injection dans le système ROR.

    Paramètres
    ----------
    env : str
        Spécification de l'environnement (ex: "production", "development")
    date : str
        Chaîne de caractères représentant la date pour l'extraction des données

    Retourne
    -------
    None
        Les résultats sont sauvegardés dans des fichiers CSV dans le dossier d'export spécifié

    Notes
    -----
    La fonction effectue les étapes suivantes :
    1. Configure la journalisation
    2. Effectue la requête des données de services de santé
    3. Effectue la requête des données de localisation
    4. Fusionne les jeux de données
    5. Effectue les transformations finales des données
    6. Sauvegarde les résultats dans dans la base de données

    Exemples:
    >>> main(env=env, date="2025-02-19T11:00")
    """
    _dt_manager = DateTimeManager(date)

    FILE_DATE = _dt_manager.file_date


    # Requête HealthcareService
    healthcare_df, df_anomalie, organization_anomalies_df = healthcare_request(env = env, test_mode = False, config_file_dir = config_file_dir)

    # # Requête Location
    location_df, location_anomalies_df = location_request(env = env, test_mode = False, config_file_dir = config_file_dir)

    # Merge et ajout d'Organization
    final_table  = pd.merge(
    healthcare_df, location_df, on="location", how="inner")

    API_exec_date = datetime.strptime(date, "%Y-%m-%d %H:%M:%S")
    # Datamanagement des derniers éléments de la table
    final_table["capacite_extract_datetime"] = API_exec_date
    final_table["h_exec"] =  int(API_exec_date.hour)

    # Injection
    table_union = injection_old_ror(env, final_table, date, config_file_dir = config_file_dir, injection=True)

    # Export des anomalies
    dfs = {"Anomalies_regroupement": df_anomalie, "Anomalie_Etablissement": organization_anomalies_df, "Anomalie_Capacites": location_anomalies_df}
    with pd.ExcelWriter(f"{diffusion_folder}/{FILE_DATE}_anomalies.xlsx", engine="xlsxwriter") as writer:
        for sheet_name, df in dfs.items():
            df.to_excel(writer, sheet_name = sheet_name, index = False) 

    # Sortie des csv
    if csv_file:
        healthcare_df.to_csv(f"{export_folder}/hsc_response.csv")
        location_df.to_csv(f"{export_folder}/location_response.csv")
        final_table.to_csv(f"{export_folder}/joined_table.csv", index = False)   
        table_union.to_csv(f"{export_folder}/table_union.csv", index = False)