tutoriaux Apache Spark : Les sources de données externes Généralité sur Apache Spark : Spark est un système de calcul distribué sur des collections de données répliquées et résilientes. Les calculs sont exécutés avec un fort parallélisme. Spark supporte plusieurs languages : Scala, Java,
tutoriaux Talend - Containeriser ses jobs Du verbe "containeriser" qui sera bientôt dans le dictionnaire, et qui veut dire: placer dans des containers. Voici un exemple simple pour faire tourner ses jobs dans des containers Docker. Comme
talend Talend - Les routines Talend Open Studio permet d'ajouter des routines de code Java qui pourront être utilisées ensuite dans des jobs. Une routine est un ensemble de fonctions qui seront utilisables dans des row generators ou
linux Commandes Linux diverses Recherches sur fichiers Affiche toutes les occurences du terme "myInstance" dans les fichiers java du répertoire "src" $ find src -type f -name "*java" -exec grep -nH "
trucs et astuces Astuces en PowerShell Windows PowerShell est le langage de script et aussi l'interpreteur de ligne de commande pour Windows. Il a été conçu pour les administrateurs systèmes et est orienté objet. Vous trouverez de la documentation
tutoriaux Talend - Passage de variables entre jobs Nous allons vous présenter quelques manières pour passer des valeurs / paramètres entre des jobs parents et enfants dans l'ETL Talend. nous utilisons ici Talend Open Studio en version communautaire. 1. Par variables de
tutoriaux Un système de notes perso sécurisées et synchronisées. Il s'agit de turtl. Le serveur s'installe facilement et il y a des clients sur les principales plateformes (sauf ios). Installation du serveur Il y a une image complète, incluant
tutoriaux Chargement de fichiers avec TOS et PDI Pour faire suite à nos deux premiers articles sur la mise en place de Talend Open Studio et de Pentaho Data Integration, nous allons effectuer une petite tansformation/job sur les 2 outils
trucs et astuces Quelques commandes pour AWS Les offres cloud proposent souvent une interface CLI (ie. en ligne de commande) ce qui facilite l'usage au quotidien. AWS client Toutes les commandes débutent par aws. La plus importante est $ aws help
trucs et astuces API Rest Json depuis Excel Depuis plusieurs mois/années les développements d'applications sont découpées et offres de plus en plus d'APIs. Le standard de facto est aujourd'hui l'API en Rest / Json. Macro Excel VBA-Web Il existe une macro
linux Top amélioré sous Linux Glances est un outil qui peut se lancer en ligne de commande et qui permet la visualisation des processus, ressources et aussi containers en cours d'utilisation par votre système. Il a aussi l'avantage
docker Copier des fichiers du container vers le host La copie de fichier peut se faire dans le dockerfile ou docker-compose ce qui est préférable pour une utilisation durable. Par exemple, un container execute un jar auto executable. On copie donc le
trucs et astuces Nettoyer ses emails Gmail Le problème Pendant des années après avoir créé un compte google mail j'ai conservé tous mes emails soit dans mon inbox soit simplement en les archivant (i.e. en enlevant le label inbox)
trucs et astuces vhost nginx automatique via Docker Le problème: Il nous arrive souvent d'héberger plusieurs sites/applications web sur un même serveur et donc de faire pointer des noms de domaines ou sous domaines sur la même IP. Nous utilisons
git Commandes git utiles - Gestion des étiquettes (tags management) Gestion des étiquettes (tags). Pendant la phase de développement, nous sommes souvent amenés à livrer des versions de logiciels, modules et sites web, dans différents environnements tels que Développement, Intégration Continue (IC), Assurance
tutoriaux Mise en place de Talend Open Studio (TOS) A quoi sert TOS? De même que pour PDI, Talend Open Studio est un ETL et donc permet simplement et facilement l'intégration de données. L'installer Pour rappel nous travaillons uniquement sous Linux avec
tutoriaux Mise en place de Pentaho Data Integration (PDI) A quoi sert PDI? Comme son nom l'indique, il sert à intégrer des données. On appelle également cela un ETL. Pour nous, ses principaux atouts sont: la simplicité d'utilisation, de bonnes performances (reste
Choix du server dédié Pour l'hébergement de ce blog mais aussi de tous nos outils/POCs/vms... nous avons décidé de prendre un serveur dédié. Si vous aussi vous y pensez mais que vous ne vous etes
docker Parseur JSON en bash Droit au but: Vous aimeriez pouvoir parser un fichier json simplement avec une commande bash ? Voici un moyen élégant avec nodejs de le faire. Il vous faudra avoir installé nodejs et le package
docker Mise en place d'un wordpress de dev Super rapide et super simple. On nous demande un ajustement sur un site wordpress. Comment démarrer un site wordpress vide ? La réponse: Docker. Et voilà un petit docker-compose.yml très simple et basique.
linux Mon shell sous linux Pour avoir cela, j'utilise fish shell pour les commmandes avec byobu pour le découpage des fenetres. Ce que j'aime dans fish shell Voici plusieurs petites choses que j'utilise dans fish shell. Les fonctions
La construction de ce blog Un des principes de ce Lab est de vous faire des retours d'expériences sur nos outils, techno... et donc ce blog n'en fait pas exception. Quel outil de blog choisir? Quelle plateforme utiliser
trucs et astuces Commandes Git : la base des basiques Comment créer une nouvelle branche Je dois travailler sur une nouvelle fonctionnalié et pour ça je vais créer une nouvelle branche à partir de la branche principale: $ git checkout -b myfeature develop Et
trucs et astuces Commandes Docker : les commandes du quotidien Commencons directement par les plus cool (et les plus simples sont en bas). Les Advanced Faire du ménage dans les containers: docker rm -v $(docker ps -a | grep /usr/local/ | awk '{print