분류 전체보기175 Spark 시작하기15 - [러닝 스파크] 5장 데이터 불러오기/저장하기 package org.mystudy.example.ch5; import java.io.StringReader; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.util.ArrayList; import java.util.Arrays; import java.util.List; import org.apache.log4j.PropertyConfigurator; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.. 2016. 4. 26. Spark 시작하기13 - [러닝 스파크] 4장 키/값 페어로 작업하기2 package org.mystudy; import static org.MyConf.s; import java.io.Serializable; import java.util.ArrayList; import java.util.Arrays; import java.util.List; import com.google.common.base.Optional; import org.MyConf; import org.apache.commons.lang3.StringUtils; import org.apache.spark.api.java.JavaDoubleRDD; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; impo.. 2016. 4. 22. Spark 시작하기12 - [러닝 스파크] 4장 키/값 페어로 작업하기 package org.mystudy; import static org.MyConf.s; import java.io.Serializable; import java.net.MalformedURLException; import java.util.ArrayList; import java.util.Arrays; import java.util.Comparator; import java.util.List; import java.util.Map; import org.MyConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkConte.. 2016. 4. 20. lang3.StringUtils 사용예 package org.test.apache.lang; import java.util.Arrays; import org.apache.commons.lang3.StringUtils;//commons-lang3-3.4.jar /** * 참고 * http://kmj1107.tistory.com/entry/Java-StringUtils * https://commons.apache.org/proper/commons-lang/javadocs/api-3.1/org/apache/commons/lang3/StringUtils.html */ public class StringUtilsTest { public static void main(String... args) { StringUtilsTest s = new String.. 2016. 4. 20. Spark 시작하기11 - [러닝 스파크] 3장 RDD로 프로그래밍하기2 package org; import java.io.Serializable; import org.apache.log4j.PropertyConfigurator; import org.apache.spark.api.java.JavaSparkContext; public class MyConf implements Serializable{ private static final long serialVersionUID = 9809021L; public static String PROJECT_PATH = System.getProperty("user.dir"); public static void setLog4j(){ PropertyConfigurator.configure(PROJECT_PATH + "\\src\\resour.. 2016. 4. 19. Spark 시작하기10 - 알 수 없는 이클립스 강제종료 PC상태:문서암호화, OpenVPN이 설치됨보안 프로그램 설치로 인해 windows 종료시 한... 10분 넘게 걸린다.네트워크도 일부분 막혀있는 상태.가끔식 windows 종료가 아예 안되어서 PC를 shutdown하면, 재시작시 *.dll 파일들이 없어서 복사붙여넣기 일쑤....(*.dll 이 문제가 있어서, C:\hadoop\bin\winutils.exe 파일실행이 안되기도 했다.-_-;;) 이러한 상황에서이클립스를 이용해서 spark를 실행해보려고 한다. java8 64biteclipse : MARS.2 (64bit)project : maven (spark 1.6.1) >> 단순한 System.out.println(""); 이 있는 코드를 실행하면, 이클립스가 죽는다..ㅠㅠ 뭔가 이상하다.java.. 2016. 4. 19. Spark 시작하기09 - 메모리 Exception Spark를 실행중.... 갑자기 Exception이 발생했다. Exceptioin 발생 당시 설정 : java : jdk1.8.0_77 (32bit)eclipse : MARS.1 (32bit)XXMaxPermSize : 256mXXMaxPermSize : 256mXms1024mXmx1024m 당시 컴퓨터 메모리 사용량 : 2.0G / 4.0G (이클립스 기동 후)Spark 설정 : local[1] > 큰 문제없는 설정이다. Exception msg:------------------------------------------------------------------------------------------------------------------------------------------------.. 2016. 4. 19. Spark 시작하기08 - [러닝 스파크] 3장 RDD로 프로그래밍하기 [러닝 스파크] 3장 RDD로 프로그래밍하기 package org.mystudy; import java.io.Serializable; import java.util.Arrays; import org.apache.commons.lang3.StringUtils; import org.apache.log4j.PropertyConfigurator; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; import org.apache.spark.api.java.function.Function2; public cl.. 2016. 4. 16. 이전 1 ··· 15 16 17 18 19 20 21 22 다음
