Spark/러닝 스파크11 Spark 시작하기17 - [러닝 스파크] 7장 클러스터에서 운영하기 spark를 이용한 클러스터,,, 일단 1PC에서 마스터 1개, 워커 여러개를 cmd 명령어로 각각 실행시키고,D:\java_util\spark\spark-1.6.0-bin-hadoop2.6\bin\spark-class org.apache.spark.deploy.master.MasterD:\java_util\spark\spark-1.6.0-bin-hadoop2.6\bin\spark-class org.apache.spark.deploy.worker.Worker spark://192.168.56.1:7077D:\java_util\spark\spark-1.6.0-bin-hadoop2.6\bin\spark-class org.apache.spark.deploy.worker.Worker spark://192.168.. 2016. 4. 26. Spark 시작하기16 - [러닝 스파크] 6장 고급 스파크 프로그래밍 람다식 안에서 클로저 작동을 원활하게 하기 위해 어큐뮬레이터, 브로드캐스트 를 사용한다. package org.mystudy; import java.io.File; import java.io.FileNotFoundException; import java.io.Serializable; import java.util.ArrayList; import java.util.Arrays; import java.util.List; import java.util.Scanner; import java.util.regex.Pattern; import org.apache.log4j.PropertyConfigurator; import org.apache.spark.Accumulator; import org.apache.spar.. 2016. 4. 26. Spark 시작하기15 - [러닝 스파크] 5장 데이터 불러오기/저장하기 package org.mystudy.example.ch5; import java.io.StringReader; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.util.ArrayList; import java.util.Arrays; import java.util.List; import org.apache.log4j.PropertyConfigurator; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.. 2016. 4. 26. Spark 시작하기13 - [러닝 스파크] 4장 키/값 페어로 작업하기2 package org.mystudy; import static org.MyConf.s; import java.io.Serializable; import java.util.ArrayList; import java.util.Arrays; import java.util.List; import com.google.common.base.Optional; import org.MyConf; import org.apache.commons.lang3.StringUtils; import org.apache.spark.api.java.JavaDoubleRDD; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; impo.. 2016. 4. 22. Spark 시작하기12 - [러닝 스파크] 4장 키/값 페어로 작업하기 package org.mystudy; import static org.MyConf.s; import java.io.Serializable; import java.net.MalformedURLException; import java.util.ArrayList; import java.util.Arrays; import java.util.Comparator; import java.util.List; import java.util.Map; import org.MyConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkConte.. 2016. 4. 20. Spark 시작하기11 - [러닝 스파크] 3장 RDD로 프로그래밍하기2 package org; import java.io.Serializable; import org.apache.log4j.PropertyConfigurator; import org.apache.spark.api.java.JavaSparkContext; public class MyConf implements Serializable{ private static final long serialVersionUID = 9809021L; public static String PROJECT_PATH = System.getProperty("user.dir"); public static void setLog4j(){ PropertyConfigurator.configure(PROJECT_PATH + "\\src\\resour.. 2016. 4. 19. Spark 시작하기10 - 알 수 없는 이클립스 강제종료 PC상태:문서암호화, OpenVPN이 설치됨보안 프로그램 설치로 인해 windows 종료시 한... 10분 넘게 걸린다.네트워크도 일부분 막혀있는 상태.가끔식 windows 종료가 아예 안되어서 PC를 shutdown하면, 재시작시 *.dll 파일들이 없어서 복사붙여넣기 일쑤....(*.dll 이 문제가 있어서, C:\hadoop\bin\winutils.exe 파일실행이 안되기도 했다.-_-;;) 이러한 상황에서이클립스를 이용해서 spark를 실행해보려고 한다. java8 64biteclipse : MARS.2 (64bit)project : maven (spark 1.6.1) >> 단순한 System.out.println(""); 이 있는 코드를 실행하면, 이클립스가 죽는다..ㅠㅠ 뭔가 이상하다.java.. 2016. 4. 19. Spark 시작하기09 - 메모리 Exception Spark를 실행중.... 갑자기 Exception이 발생했다. Exceptioin 발생 당시 설정 : java : jdk1.8.0_77 (32bit)eclipse : MARS.1 (32bit)XXMaxPermSize : 256mXXMaxPermSize : 256mXms1024mXmx1024m 당시 컴퓨터 메모리 사용량 : 2.0G / 4.0G (이클립스 기동 후)Spark 설정 : local[1] > 큰 문제없는 설정이다. Exception msg:------------------------------------------------------------------------------------------------------------------------------------------------.. 2016. 4. 19. 이전 1 2 다음
