Google Analytics avec Pentaho Data Integration

Google Analytics - collecte de données automatisée avec Pentaho Data integration

Dans les domaines où de nouvelles données sont collectées et analysées chaque jour à partir de différentes sources, il est judicieux de développer des procédures qui permettent une collecte et une analyse automatisées de la multitude de données différentes. Dans le domaine de l’analyse web, les données sont collectées à des intervalles variables à partir de différentes sources de données telles que les systèmes de suivi et de contrôle et certains outils de commerce électronique. Si les analystes web travaillent sans procédures automatisées, leur charge de travail augmente avec le nombre croissant de données et d’analyses associées.

L’article suivant présente le logiciel de Business Intelligence Pentaho Data Integration (PDI, également appelé Kettle), qui permet d’automatiser les procédures de collecte et d’analyse des données. Nous vous expliquons comment extraire différentes dimensions et métriques d’un compte Google Analytics et comment exporter et enregistrer ces données dans un fichier de sortie (p. ex. Excel).

Étape 1 : Installation de Pentaho Data Integration

Pour pouvoir utiliser la solution BI sur l’ordinateur, il faut d’abord cliquer sur le lien suivant :

https://sourceforge.net/projects/pentaho/

Le bouton de téléchargement permet de télécharger Pentaho Data Integration et de l’installer.

Remarque :

Si vous n’avez pas encore installé Java SE Development Kit 8u77 sur votre ordinateur, il est nécessaire d’installer ce kit également. L’installation est possible via la page suivante :

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Étape 2 : Charger Pentaho Data Integration

Une fois l’installation réussie, l’outil BI est appelé comme suit :

Ouvrir le dossier « data-integration » sur l’ordinateur.
Ouvrir le fichier « Spoon » (il s’agit d’un fichier bat)

Étape 3 : Préparer la première transformation Pentaho

a) Une fois Spoon chargé, une transformation peut être créée via l’onglet File | new | Transformation ou via CTRL+N.

Cela permet de faire apparaître différents dossiers ou objets :

b) Comme nous nous intéressons dans cet article à la collecte automatisée de données à partir de Google Analytics, nous sélectionnons le champ Google Analytics dans le dossier Input. Pour ce faire, nous cliquons une fois sur Input avec le bouton gauche de la souris et faisons glisser l’objet Google Analytics sur la surface vide en maintenant le bouton gauche de la souris enfoncé.

c) Ensuite, vous pouvez ouvrir l’objet en double-cliquant sur Google Analytics dans la zone de transformation. Dans le masque ouvert, vous pouvez ainsi indiquer vos données individuelles.

Pour que la collecte automatisée des données puisse avoir lieu, ces champs suivants doivent être remplis dans les paramètres de connexion de Google Analytics :

Email du service OAuth
KeyFile

d) Afin d’obtenir les informations pour les deux champs susmentionnés, Pentaho Data Integration doit d’abord être minimisé à ce stade et le lien suivant doit être appelé pour accéder à l’environnement de développement Google Analytics : http://console.developers.google.com

Digression : Google Analytics API - clé unique pour le transfert de données

a) Si le lien ci-dessus a été ouvert, une fenêtre apparaît dans laquelle vous devez indiquer un nom de projet. Si un autre projet a déjà été créé, il faut cliquer sur « create a project » pour obtenir la suite.

Au lieu de « My Project », un nom quelconque peut être attribué à cet endroit. Par exemple « Google Analytics Test API ». La saisie est confirmée par « Create ».

b) Sur la page suivante, l’API Manager de Google affiche un nombre différent d’API pour chaque produit. Dans ce cas, nous nous intéressons à l’API Google Analytics, c’est pourquoi il faut cliquer sur l’API Analytics sous « Other popular APIs ».

c) Le bouton « enable » permet d’activer l’API. Cependant, après l’activation, le message suivant apparaît :

Pour que nous puissions également utiliser l’API pour ce projet, il faut donc encore créer des données d’accès. Pour cela, il faut cliquer sur « Go to Credentials ».

d) Sur la page suivante, le troisième point « Service account key » doit être sélectionné sous « create credentials ».

e) Pour créer cette clé, il est possible de saisir un nom de compte unique sous « Service Account » pour une meilleure vue d’ensemble (si plusieurs clés sont créées ou déjà créées).

Sous « Key type », il faut sélectionner « P12 » et confirmer la saisie avec « create ».

f) La clé créée doit maintenant être téléchargée et enregistrée sur l’ordinateur. Si la clé n’est pas correctement téléchargée à ce stade, il n’y a plus aucune possibilité d’obtenir le fichier.

g) Dans la dernière étape, nous cliquons sur « Manage service accounts » et nous notons le « Service Account ID » ainsi que le « Key ID ».

h) Ensuite, la page web de l’environnement développeur de Google peut être fermée et Google Analytics peut être appelé. Selon le compte Google Analytics à partir duquel on souhaite collecter des données, on sélectionne ce compte et on ajoute l’ID de compte de service créé sous « Gérer | Gestion des utilisateurs ».

Étape 4 : Effectuer la première transformation Pentaho

Une fois que toutes les étapes ont été effectuées dans l’API Manager ou la Google Developer Console et Google Analytics (administration), il est possible d’appeler à nouveau Pentaho Data Integration.

a) Nous ouvrons à nouveau « Google Analytics Input Step » et insérons pour le champ « OAuth Service Email » le « Service Account ID » créé pour l’API Google Analytics.

b) Nous cliquons maintenant sur « Browse » à côté du champ « Key File » et chargeons le fichier que nous avons créé dans l’environnement de développement Google Analytics. (voir la digression).

c) Sous « Application Name », il est possible d’attribuer un nom à l’application.

d) Dans la dernière étape de cette configuration, nous cliquons sur « Get profiles » à côté du champ « get tableld from profile ». Après quelques secondes, la connexion à Google Analytics est établie.

e) La configuration « technique » est ainsi terminée. A partir de là, nous pouvons choisir quelles dimensions et métriques doivent être tirées et sur quelle période. En outre, il est possible de définir si les propriétés de filtrage doivent être exclues/inclues pour certaines données.

Dans cette configuration par défaut, toutes les visites pour la dimension « Navigateur » sont tirées pour le 07/04/2016.

f) Dans la dernière étape, nous faisons glisser les données souhaitées via « Get Fields » et confirmons la sélection en cliquant sur « OK ».

g) Ensuite, il faut encore un fichier de sortie. Ce fichier de sortie peut être un fichier Excel, une base de données Access ou un outil de visualisation. Nous choisissons ici le fichier Excel (Microsoft Excel Output). Cet objet peut à nouveau être déplacé vers la droite en maintenant le bouton gauche de la souris enfoncé.

h) Pour créer un lien entre le fichier d’entrée et le fichier de sortie, nous passons avec la souris sur le fichier d’entrée « Google Analytics », ce qui fait apparaître directement en dessous quatre possibilités de choix. Nous choisissons le quatrième signe, à l’extrême droite. Une flèche s’affiche. Sans maintenir le bouton de la souris enfoncé, nous déplaçons la flèche vers le fichier de sortie et cliquons dessus avec le bouton gauche de la souris. La connexion est établie.

i) En double-cliquant sur « Microsoft Excel Output », nous pouvons encore donner un nom au fichier xls et indiquer une destination pour l’enregistrement du fichier via « Browse… ».

j) En cliquant sur le signe Play, nous pouvons enfin démarrer la transformation.

Ensuite, nous cliquons sur « Launch » à l’affichage suivant « Execute a transformation ». Le fichier Excel est ainsi rempli avec les données souhaitées et enregistré à l’emplacement cible.

Ce fichier peut maintenant être ouvert dans le dossier de destination.

Nous avons ainsi créé ensemble un petit fichier Excel sans devoir nous connecter à Google Analytics. Il est bien sûr possible d’insérer et d’exécuter des tas d’autres métriques, dimensions, mais aussi des fonctions mathématiques (et bien d’autres). Dans les prochains articles, nous augmenterons petit à petit la complexité de la collecte et de l’analyse des données avec Pentaho Data Integration.