본문 바로가기

Spark/Spark와 머신 러닝6

Spark 시작하기20 - [Spark와 머신 러닝] 5장 스파크를 이용한 분류 모델 구현 scala로 짜여진 소스코드를 java8 로 작성하였다. package org.test.ch5; import java.io.Serializable; import java.util.Arrays; import java.util.Map; import org.apache.log4j.PropertyConfigurator; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.mllib.classification.LogisticRegressionModel; import org.apache.spark.mllib.classification.LogisticRegres.. 2016. 5. 7.
Spark 시작하기19 - [Spark와 머신 러닝] 4장 스파크를 이용한 추천 엔진 구현 scala로 짜여진 소스코드를 java8 로 작성하였다. package org.test.ch4; import java.io.Serializable; public class MyTuple2 implements Comparable, Serializable{ private static final long serialVersionUID = 1L; private K key; private V value; public MyTuple2(K key, V value){ this.key = key; this.value = value; } public K getKey() { return key; } public void setKey(K key) { this.key = key; } public V getValue() { re.. 2016. 5. 4.
Spark 시작하기18 - [Spark와 머신 러닝] 3장 스파크를 이용한 데이터 수집, 프로세싱, 준비2 python으로 짜여진 소스코드를 java8 로 작성하였다. package org.test.ch3; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Arrays; import java.util.Collections; import java.util.Date; import java.util.LinkedHashMap; import java.util.List; import java.util.Map; import java.util.regex.Matcher; import java.util.regex.Pattern; import org.apache.log4j.PropertyConfigurator; import org.apa.. 2016. 5. 4.
Spark 시작하기05 - Exception 16/04/03 21:12:53 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable16/04/03 21:12:57 WARN : Your hostname, MSDN-SPECIAL resolves to a loopback/non-reachable address: fe80:0:0:0:0:5efe:c0a8:5%net12, but we couldn't find any external IP address!Exception in thread "main" org.apache.spark.SparkException: Task not serializabl.. 2016. 4. 3.
Spark 시작하기04 - [Spark와 머신 러닝] 3장 스파크를 이용한 데이터 수집, 프로세싱, 준비 python으로 짜여진 소스코드를 java8 로 작성하였다. 콘솔 로그 출력하기에 유용한 기능을 유틸로 만들었다. package org.test.sparkNmachineLearning3; import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.log4j.PropertyConfigurator; public class LogUtil { List currentFile = null; public boolean isDebug = true; private int stackTraceDepth; pu.. 2016. 4. 3.
Spark 시작하기03 - [Spark와 머신 러닝] 1장 스파크의 시작과 구동 무비스트림 47p 자바로 개발하는 스파크 프로그램의 첫 단계... 인데... 시작부터 에러 발생이다.-_-;; 에러를 고치기 위해 구글 자료를 찾아가면서, Spark를 배워나간다.;;;;;한번에 속시원하게 풀리지 않고, 찾아봐야 하는... 이런 방법... 결국 도움은 되지만,,, 정말 힘들다... 또한 JAVA8 버전으로 변형! 파이썬이든, 스칼라든, 자바들,,,결국은 성능을 위해 스칼라로 작성해야 한다.파이썬이 다양한 라이브러리가 많아 편할지 모르지만,,, 결국은 스칼라 이므로,,,일단은 JAVA8 함수형으로 구현한다. JAVA8의 스트림기능처럼 .().().()........ 엮어서 표현하는 것이 간단하지만,,, 공부할때는 모두 풀어서 작성하자, 어떤 형태로 리턴되는지 알 수 있어서 명확히 개념을 알.. 2016. 3. 27.

티스토리툴바