Asyncpg

Après avoir organisé les données en base, il s’agit maintenant de les exposer pour les futurs services. Le module “expose” est dédié à cette tâche. Il sert de serveur API pour requêter la base de données PostgreSQL et fournir des informations détaillées sur les livres ainsi que des recommandations basées sur des vecteurs. Tout est sur le dépôt Github. Il permet de : Récupérer des informations détaillées sur les livres en utilisant divers filtres. Générer des recommandations de livres similaires en utilisant des méthodes de similarité vectorielle comme la distance euclidienne, la distance de Manhattan (taxicab) et la similarité cosinus. Ce module est conçu pour être intégré dans un pipeline d’analyse asynchrone et supervisé via FastAPI, offrant une API RESTful performante et facile à utiliser.

Dans le cadre de mon projet de recommandation de livres, un élément clé pour offrir des suggestions pertinentes repose sur la représentation vectorielle des données textuelles, comme les résumés et les titres des livres. Le module Vectorizer, développé en tant que microservice, est dédié à cette tâche. Grâce à ce microservice, nous pouvons générer deux types de représentations vectorielles : TF-IDF, pour capturer l’importance des termes au sein des textes. Cela permettra d’entrainer des modèles pour labelliser rapidement les livres et les clusteriser dynamiquement dans un soucis de performance. Embeddings réduits par PCA, pour une représentation dense des contenus basée sur des modèles de type transformers. Cela permettra, combiné à des filtres, d’utiliser les moteur SQL pour générer les recommandations. Ce module est conçu pour être intégré dans un pipeline d’analyse asynchrone et supervisé via MLflow, comme le bloc précédent. Tout est sur le dépôt Github.