Embedding

Dans le cadre de mon projet de recommandation de livres, un élément clé pour offrir des suggestions pertinentes repose sur la représentation vectorielle des données textuelles, comme les résumés et les titres des livres. Le module Vectorizer, développé en tant que microservice, est dédié à cette tâche. Grâce à ce microservice, nous pouvons générer deux types de représentations vectorielles : TF-IDF, pour capturer l’importance des termes au sein des textes. Cela permettra d’entrainer des modèles pour labelliser rapidement les livres et les clusteriser dynamiquement dans un soucis de performance. Embeddings réduits par PCA, pour une représentation dense des contenus basée sur des modèles de type transformers. Cela permettra, combiné à des filtres, d’utiliser les moteur SQL pour générer les recommandations. Ce module est conçu pour être intégré dans un pipeline d’analyse asynchrone et supervisé via MLflow, comme le bloc précédent. Tout est sur le dépôt Github.

J’ai été au salon de conférence Cloud Nord ce jeudi 10 Octobre 2024 et voici un retour pour attiser votre curiosité sur les talks qui m’ont le plus marqués. Impact Framework # Impact Framework est un outil de calcul de l’efficacité énergétique côté code, prenant en compte des aspects tels que l’empreinte computationnelle, la mémoire et le stockage par fournisseur. Il permet de générer des sorties en CSV, adaptables à divers outils, notamment un plugin Grafana. Cet outil est très utile pour optimiser la consommation énergétique des applications et contrôler les factures des cloud providers, les deux étant très corrélés.