Commentaires sur : Calcul de VWAP avec Hadoop en StandAlone https://blog.infine.com/calcul-de-vwap-avec-hadoop-en-standalone-2214?utm_source=rss&utm_medium=rss&utm_campaign=calcul-de-vwap-avec-hadoop-en-standalone Le blog des technos de demain ! Sat, 24 Aug 2013 16:09:00 +0000 hourly 1 https://wordpress.org/?v=6.5.7 Par : Chouaib Seghier https://blog.infine.com/calcul-de-vwap-avec-hadoop-en-standalone-2214/comment-page-1#comment-875 Sat, 24 Aug 2013 16:09:00 +0000 https://blog.infine.com/?p=2214#comment-875 bnsr ,

j’ai un ptt prb de la partie de mapper Mr, vous êtes donner un fichier de 1GB pour une seule mapper? (dans ce cas n’ont pas le parallélisation). ou vous avez donné une seule ligne pour chaque mapper (est si le cas précise a nous svp j’ai besoin a ton aide )

]]> Par : Jonathan Blaisius https://blog.infine.com/calcul-de-vwap-avec-hadoop-en-standalone-2214/comment-page-1#comment-864 Tue, 13 Nov 2012 15:54:00 +0000 https://blog.infine.com/?p=2214#comment-864 En réponse à JavaGeekFr.

Les fichiers en entrée sont chargés via cette instruction : FileInputFormat.setInputPaths(job, new Path(args[0]));
En StandAlone (lancement via l’IDE), c’est le file system de l’os qui est utilisé.
Pour utiliser HDFS il faut exporter le jar et le lancer en ligne de commande sur une VM Hadoop (ça sera traité dans un prochain article avec le clustering)

]]> Par : Jonathan Blaisius https://blog.infine.com/calcul-de-vwap-avec-hadoop-en-standalone-2214/comment-page-1#comment-863 Tue, 13 Nov 2012 13:56:49 +0000 https://blog.infine.com/?p=2214#comment-863 En réponse à JavaGeekFr.

Les fichiers en entrée sont chargés via cette instruction : FileInputFormat.setInputPaths(job, new Path(args[0]));
En StandAlone (lancement via l’IDE), c’est le file system de l’os qui est utilisé.
Pour utiliser HDFS il faut exporter le jar et le lancer en ligne de commande sur une VM Hadoop (ça sera traité dans un prochain article avec le clustering)

]]> Par : JavaGeekFr https://blog.infine.com/calcul-de-vwap-avec-hadoop-en-standalone-2214/comment-page-1#comment-862 Tue, 13 Nov 2012 08:38:00 +0000 https://blog.infine.com/?p=2214#comment-862 En réponse à JavaGeekFr.

J’ai aussi oublié fe demander cimbien de temps et de ressources ca prend pour traiter un fichier de 1Go ?

]]> Par : JavaGeekFr https://blog.infine.com/calcul-de-vwap-avec-hadoop-en-standalone-2214/comment-page-1#comment-861 Tue, 13 Nov 2012 08:36:00 +0000 https://blog.infine.com/?p=2214#comment-861 Juste une question :
Comment tu charges le ou les fichiers en entrée ? Ca vient du file system de l’os et ca vient d’un fichier sur hdfs ?

]]>