Dans le cadre de mon projet de recommandation de livres, un élément clé pour offrir des suggestions pertinentes repose sur la représentation vectorielle des données textuelles, comme les résumés et les titres des livres. Le module Vectorizer, développé en tant que microservice, est dédié à cette tâche.
Grâce à ce microservice, nous pouvons générer deux types de représentations vectorielles :
TF-IDF, pour capturer l’importance des termes au sein des textes. Cela permettra d’entrainer des modèles pour labelliser rapidement les livres et les clusteriser dynamiquement dans un soucis de performance. Embeddings réduits par PCA, pour une représentation dense des contenus basée sur des modèles de type transformers. Cela permettra, combiné à des filtres, d’utiliser les moteur SQL pour générer les recommandations. Ce module est conçu pour être intégré dans un pipeline d’analyse asynchrone et supervisé via MLflow, comme le bloc précédent. Tout est sur le dépôt Github.
Après avoir mis en place un module de collecte de données à l’aide de Scrapy, la prochaine étape de mon projet de recommandation de livres consiste à traiter, transformer et stocker les données. Cette étape repose sur le module store, qui organise les données collectées et les prépare pour les prochaines phases d’analyse et de modélisation. Tout est sur le dépôt Github.
En plus d’optimiser les données, ce module intègre MLflow pour suivre et documenter chaque étape du pipeline, garantissant une traçabilité et une reproductibilité complètes. Je ne vais pas détailler son utilisation dans cette article, un post sera dédié à ce service qui permet à la fois de monitorer et de versionner le service pour empêcher la dérive des modéles ou leur régression potentielle.
Dans le cadre du projet de recommandation de livres, j’ai mis en place un premier module de collecte de données à l’aide de Scrapy. Cette étape est essentielle, car elle permet de récupérer les informations nécessaires depuis une librairie en ligne pour nourrir les futurs algorithmes de recommandation.
Ce projet est pensé pour évoluer. À terme, il s’agira d’une application complète de recommandation de livres, mais chaque étape est soigneusement construite pour être modulaire et extensible. Tout est sur le dépôt Github.
L’harmonisation de mélodies est un domaine d’étude fascinant, combinant musique et algorithmes pour générer des accords à partir de simples lignes mélodiques. Mon travail de recherche se concentre sur les techniques actuelles, en particulier celles ne nécessitant pas d’entraînement préalable. L’objectif est de comprendre comment des méthodes innovantes s’affranchissent des modèles complexes pour proposer des solutions efficaces à ce problème classique. Toutes le détail des sources, les articles de références et les documents complets se trouvent sur ce Github.
Pour consolider mes compétences en développement, je me suis lancé dans un projet de recommandation de livres. Mon objectif est de concevoir une architecture simple mais modulable, capable de gérer la scalabilité et de rester disponible en continu. Ce projet inclut des phases de collecte de données, de labellisation et de vectorisation, ce qui me permet d’explorer l’ensemble de la stack logicielle, d’utiliser les bibliothèques standard et d’héberger le tout dans mon homelab.
J’ai été au salon de conférence Cloud Nord ce jeudi 10 Octobre 2024 et voici un retour pour attiser votre curiosité sur les talks qui m’ont le plus marqués.
Impact Framework # Impact Framework est un outil de calcul de l’efficacité énergétique côté code, prenant en compte des aspects tels que l’empreinte computationnelle, la mémoire et le stockage par fournisseur. Il permet de générer des sorties en CSV, adaptables à divers outils, notamment un plugin Grafana. Cet outil est très utile pour optimiser la consommation énergétique des applications et contrôler les factures des cloud providers, les deux étant très corrélés.
Ce site est une vitrine pour exposer ce que je fais sur mon temps libre et m’entraîner à la rédaction d’articles pour améliorer ma vulgarisation technique. C’est aussi un excellent support pour me motiver à sortir de gestation l’énorme quantité d’idées de projets qui traînent dans mes backlogs. La veille technologique étant le nerf non pas de la guerre mais de l’efficacité, j’espère que ce portfolio facile à maintenir m’aidera à y consacrer plus de temps.
