Main intégration API
Fonction d'entré pour requeter l'API ROR-National et injecter dans la base de données SQL de CEGEDIM
src.main.main(env, date, config_file_dir=None, csv_file=False)
Fonction principale d'exécution du pipeline de traitement des données ROR.
Cette fonction orchestre l'ensemble du processus de récupération des données depuis les API, la fusion des résultats et leur préparation pour l'injection dans le système ROR.
Paramètres
env : str Spécification de l'environnement (ex: "production", "development") date : str Chaîne de caractères représentant la date pour l'extraction des données
Retourne
None Les résultats sont sauvegardés dans des fichiers CSV dans le dossier d'export spécifié
Notes
La fonction effectue les étapes suivantes : 1. Configure la journalisation 2. Effectue la requête des données de services de santé 3. Effectue la requête des données de localisation 4. Fusionne les jeux de données 5. Effectue les transformations finales des données 6. Sauvegarde les résultats dans dans la base de données
Exemples:
main(env=env, date="2025-02-19T11:00")
Source code in src/main.py
def main(env, date, config_file_dir=None, csv_file=False):
"""
Fonction principale d'exécution du pipeline de traitement des données ROR.
Cette fonction orchestre l'ensemble du processus de récupération des données depuis les API,
la fusion des résultats et leur préparation pour l'injection dans le système ROR.
Paramètres
----------
env : str
Spécification de l'environnement (ex: "production", "development")
date : str
Chaîne de caractères représentant la date pour l'extraction des données
Retourne
-------
None
Les résultats sont sauvegardés dans des fichiers CSV dans le dossier d'export spécifié
Notes
-----
La fonction effectue les étapes suivantes :
1. Configure la journalisation
2. Effectue la requête des données de services de santé
3. Effectue la requête des données de localisation
4. Fusionne les jeux de données
5. Effectue les transformations finales des données
6. Sauvegarde les résultats dans dans la base de données
Exemples:
>>> main(env=env, date="2025-02-19T11:00")
"""
_dt_manager = DateTimeManager(date)
FILE_DATE = _dt_manager.file_date
# Requête HealthcareService
healthcare_df, df_anomalie, organization_anomalies_df = healthcare_request(env = env, test_mode = False, config_file_dir = config_file_dir)
# # Requête Location
location_df, location_anomalies_df = location_request(env = env, test_mode = False, config_file_dir = config_file_dir)
# Merge et ajout d'Organization
final_table = pd.merge(
healthcare_df, location_df, on="location", how="inner")
API_exec_date = datetime.strptime(date, "%Y-%m-%d %H:%M:%S")
# Datamanagement des derniers éléments de la table
final_table["capacite_extract_datetime"] = API_exec_date
final_table["h_exec"] = int(API_exec_date.hour)
# Injection
table_union = injection_old_ror(env, final_table, date, config_file_dir = config_file_dir, injection=True)
# Export des anomalies
dfs = {"Anomalies_regroupement": df_anomalie, "Anomalie_Etablissement": organization_anomalies_df, "Anomalie_Capacites": location_anomalies_df}
with pd.ExcelWriter(f"{diffusion_folder}/{FILE_DATE}_anomalies.xlsx", engine="xlsxwriter") as writer:
for sheet_name, df in dfs.items():
df.to_excel(writer, sheet_name = sheet_name, index = False)
# Sortie des csv
if csv_file:
healthcare_df.to_csv(f"{export_folder}/hsc_response.csv")
location_df.to_csv(f"{export_folder}/location_response.csv")
final_table.to_csv(f"{export_folder}/joined_table.csv", index = False)
table_union.to_csv(f"{export_folder}/table_union.csv", index = False)