Blog




Le  modèle de table paramètre est utile pour segmenter des données, ou pour injecter des paramètres dans des mesures. L’astuce va consister à créer une table déconnectée des autres tables du modèle. Cette table permettra d’offrir une liste de choix permettant d’altérer les calculs des mesures. Par exemple cette table pourra proposer à l’utilisateur un choix parmi différents taux d’inflation.   Modèle de base Supposons que nous souhaitions faire varier les valeurs prévues d’un budget en fonction d’un taux d’inflation prévisionnel. Après avoir importé votre table budget, il vous faudra créer une table Taux d’inflation, déconnectée. Nous allons devoir capter la valeur sélectionnée par l’utilisateur pour l’intégrer en tant que paramètre de notre mesure [CA prévu avec inflation]. Pour ce faire, nous allons utiliser la fonction SELECTEDVALUE() dans une mesure [Taux], qui permettra de récupérer la valeur sélectionnée par l’utilisateur. Cette valeur doit être unique (si l’utilisateur sélectionne plusieurs taux, la mesure retournera (Vide).   Maintenant que nous savons récupérer la sélection, nous allons pouvoir créer notre mesure [CA prévu avec inflation]. Cas d’usage Comme nous venons de le voir, ce modèle permet d’injecter autant de paramètres que nécessaire dans une ou plusieurs mesures, ce qui permet de créer de véritables algorithmes […]

DAX-Modèles Table paramètre



Le modèle de total cumulé permet de réaliser des sommes à date, particulièrement utiles en gestion. Par exemple, ce modèle pourra être utilisé pour créer une mesure de solde cumulé dans un grand livre, ou un stock à date.   Modèle simple Pour commencer nous allons utiliser un modèle très simple, contenant deux tables jointes par la colonne date : Une table de dates (Calendrier) Une table des mouvements de stocks (Mouvements)   Si maintenant nous créons un rapport comprenant la date et la somme des mouvements, nous obtenons ceci : Dans chaque ligne, la somme des mouvements est limitée à la journée, puisque le champs date agit comme filtre de chaque ligne du rapport. Pour obtenir un total cumulé, nous devons éliminer ce filtre pour le remplacer par: Date de début = Aucune; Date de fin = Date maximale de la ligne en cours. Par exemple ici : La date minimale sera la première date de la table Calendrier; La date maximale sera le 04/01/2019. La mesure adaptée est la suivante : La fonction Filter() permet de modifier le filtre du rapport : Le premier argument est une table (la fonction All() permet de supprimer des filtres existant); Le […]

DAX-Modèles Total cumulé



J’ai récemment été sollicité pour construire un modèle de données permettant de réaliser des analyses sur des cours de bourse. La principale difficulté a consisté à générer les URL spécifiques permettant de récupérer les bonnes valeurs (cours de bourse d’un titre spécifique entre deux dates). Lorsque vous sélectionnez un titre sur Yahoo finance, vous pouvez trouver un lien de téléchargement des donnée (un fichier CSV.) C’est l’URL du lien de téléchargement qui va nous falloir étudier dans le détail : https://query1.finance.yahoo.com/v7/finance/download/AAPL?period1=1556291578&period2=1587913978&interval=1d&events=history On observant bien on peut identifier trois variables : Le code du titre : AAPL; La date de début des cotations : 1556291578; La date de fin de cotations : 1587913978; Ces deux dates sont au format timestamp, elles sont exprimées en secondes écoulées depuis le premier janvier 1970. Nous allons donc devoir créer une formule permettant de convertir une date en timestamp dans power Query. Ci dessous un exemple pour la date du 01/02/2020 Number.From ( DateTime.From ( #datetime(2020, 1, 2, 0, 0, 0) ) – #duration ( 25569,0,0,0 ) ) * 86400 Création des requêtes dans power query Tout d’abord nous allons créer une requête web : Puis coller l’Url présentée précédemment : Tout d’abord il faut […]

Récupérer les cours de bourse sur Yahoo finance



Cet article fait partie d’une série de posts destinés à expliquer le fonctionnement de Azure ML. Vous pouvez retrouver les précédents articles en cliquant sur ces liens: http://www.netdaf.com/introduction-au-machine-learning/ http://www.netdaf.com/azure-ml-premiere-experience/ http://www.netdaf.com/azure-ml-importer-et-exporter-des-donnees/ http://www.netdaf.com/azure-ml-preparer-les-donnees/ http://www.netdaf.com/azure-ml-preparation-avancee-des-donnees/   Les modèles de régression sont utilisés pour prédire une valeur pour une variable cible (par exemple le prix de revente d’une voiture) en fonction de critères (Age du véhicule, nombre de Kms, état général etc..)   Les critères sont nommés variables dépendantes, alors que la variable cible est la variable indépendante ou label.   L’objectif est de créer un modèle qui prendra les critères en entrée et prédira la valeur de revente du véhicule.   Ce modèle peut être envisagé comme une fonction du type : f(critère1,critère2…..) =  Valeur de revente.   Le prix réel auquel ce véhicule peut être vendu sera le plus souvent différent du prix prédit par la fonction.   L’objectif du modèle est de minimiser l’écart Réel-Prédiction.   Pour créer un modèle de ce type, nous allons tout d’abord avoir besoin d’un Dataset comprenant des données historiques de ventes de véhicules, que nous nommerons Dataset d’entrainement.   Ce Dataset d’entrainement va nourrir l’algorithme de régression et va lui permettre de créer un modèle.   […]

Azure ML : Modèles de régression



Cet article fait partie d’une série de posts destinés à expliquer le fonctionnement de Azure ML. Vous pouvez retrouver les précédents articles en cliquant sur ces liens: http://www.netdaf.com/introduction-au-machine-learning/ http://www.netdaf.com/azure-ml-premiere-experience/ http://www.netdaf.com/azure-ml-importer-et-exporter-des-donnees/ http://www.netdaf.com/azure-ml-preparer-les-donnees/ Supprimer les valeurs aberrantes.   Les valeurs aberrantes sont des valeurs qui sont très éloignées de la masse des valeurs du Dataset,en les conservant on peut fausser les résultats des algorithmes.   Il est judicieux de traiters ces valeurs, soit en les supprimant purement et simplement, soit en les modifiant.   Le module Clip Values permet de détecter ces valeurs, en sélectionnant les colonnes à analyser,puis de les supprimer ou  de les modifier.     Normalisation   De nombreux algorithmes fonctionnent mieux lorsque les données de l’ensemble des colonnes, sont à la même échelle. Lorsqu’il existe de grandes différences dans les ordres de grandeur entre les colonnes (par exemple une colonne avec des valeurs s’étendant de 0 à 10 et une autre avec une plage de 10 000 à 10 000 000), il sera nécessaire normaliser les données.   Pour procéder à cette normalisation, il faut utiliser le module Normalize Data.     Vous pouvez sélectionner les colonnes à normaliser, par type de valeurs ou par sélection simple, puis choisir […]

Azure ML : Préparation avancée des données



Cet article fait partie d’une série de posts destinés à expliquer le fonctionnement de Azure ML. Vous pouvez retrouver les précédents articles en cliquant sur ces liens: http://www.netdaf.com/introduction-au-machine-learning/ http://www.netdaf.com/azure-ml-premiere-experience/ http://www.netdaf.com/azure-ml-importer-et-exporter-des-donnees/     Les données à analyser auront le plus souvent besoin d’être préparées, pour pouvoir être traitées par les algorithmes de ML. L’interface graphique de ML Studio procure les outils de base pour réaliser ces tâches.   Lorsque ces outils se révèlent insuffisants il reste possible d’utiliser des scripts R ou Python.     Traiter les données manquantes     Cette tâche fait partie des plus communes en Data Science et ML. Lorsque des valeurs manquent, il faudra soit supprimer les lignes ou colonnes contenant ces valeurs manquantes, soit remplacer ces dernières par une valeur arbitraire (moyenne, médiane,valeur personnalisée,valeur probalisée.)   La première étape consiste à visualiser votre Dataset pour identifier les colonnes contenant des valeurs manquantes.     Puis déposer un module Clean missing Data sur le Canvas, en connectant les ports, avant de sélectionner les colonnes à traiter.       Comme le traitement s’effectue par colonne, ML Studio offre la possibilité de borner le nombre de valeurs manquantes conditionnant l’exécution du traitement :   Nombre de valeurs manquantes minimum […]

Azure ML, préparer les données



Cet article fait partie d’une série de posts destinés à expliquer le fonctionnement de Azure ML. Vous pouvez retrouver les précédents articles en cliquant sur ces liens: http://www.netdaf.com/introduction-au-machine-learning/ http://www.netdaf.com/azure-ml-premiere-experience/   ML Studio permet d’importer des données de différents formats, provenant de différentes sources. Importer depuis votre PC   Dans l’écran Expérience cliquez sur New.   Puis sur Dataset–>From local file.   Choisissez votre fichier et son extension, et choisissez un nom pour le Dataset (il doit être unique, utilisez un numéro additionnel pour les versions.)   Une fois le Dataset chargé, ML Studio nous indique ce message : Cliquez sur Ok pour terminer le téléchargement.   Le Dataset est alors accessible dans le menu My Datasets.   Vous pouvez aussi cliquer sur  Datasets dans le menu de gauche.   Entrer des données manuellement     Il est possible d’entrer des données manuellement, en déposant le module Enter Data Manually, sur le canvas, puis en saisissant les données dans la fenêtre de droite.     Utiliser le modules d’import des données.   Le module Import Data permet d’acquérir des données en provenance de différentes sources. Tout d’abord placez le module sur le canvas, puis sélectionnez la source de données, dans la […]

Azure ML, Importer et exporter des données



Comme nous l’avons vu dans l’ introduction, tout travail en ML suit un processus bien défini.     Ce processus se réalise au sein d’une expérience, dans ML Studio. Clickez sur New, puis sur Blank experience.     Nommez l’expérience « Expérience 1« , puis deroulez le module Saved Datasets, avant de placer le dataset Adult Census Income Binary sur le canvas.       Repliez Saved Datasets, dépliez Statistical functions et placez un module Summarize Data sur le canvas. Reliez le port de sortie du dataset, au port d’entrée du module statistique. Cliquez sur RUN. Une fois les deux modules au vert, faites clic droit sur le port de sortie du module statistique pour observer le résultat.       Ce module nous permet d’identifier le nombre de variables (colonnes du Dataset:15) et le nombre de mesures statistiques réalisées sur chacune d’entre-elles (23). Ces mesures permettent de déterminer notamment le nombre d’observations, le nombre de valeurs manquantes, les valeurs minimales et maximales, la moyenne, la médiane, le mode et la distribution statistique. Une fois l’experience lancée elle s’enregistre automatiquement. Cette expérience est intégrée à un espace de travail, auquel nous allons pouvoir convier de nouveaux utilisateurs.     Vous avez maintenant une […]

Azure ML, Première expérience



  Microsoft parviendra-t-il à démocratiser l’usage de l’intelligence artificielle ?   Le développement exponentiel des capacités informatiques, a submergé le monde des affaires d’un volume considérable de données. Que celles-ci proviennent du métier, de bases de données, de machines-outil, du web, des réseaux sociaux, ou de toute autre source, elles sont au cœur de la performance des entreprises. Les traiter, pour les transformer en informations indispensables au pilotage des affaires, est devenu un enjeu majeur qu’il est diffcile d’ignorer.   Comment faire pour rester dans la course, alors que les données se multiplient et que les bons professionnels restent très rares  et coûteux ?   Les outils décisionnels comme Power BI, proposent des solutions graphiques permettant de limiter le recours au code, pour créer des requêtes et des mesures. L’objectif poursuivi, est de permettre aux utilisateurs métier de créer leurs propres solutions, très rapidement, sans avoir recours aux services IT. Le Machine Learning est une tendance récente, mais à très fort potentiel, dans le monde des solutions décisionnelles. Avant d’entrer dans le détail du processus, il est intéressant de situer la place du Machine Learning dans cet environnement BI . Comme on peut le voir, le Machine Learning est une […]

Introduction au Machine Learning