본문 바로가기

Spark/러닝 스파크11

Spark 시작하기08 - [러닝 스파크] 3장 RDD로 프로그래밍하기 [러닝 스파크] 3장 RDD로 프로그래밍하기 package org.mystudy; import java.io.Serializable; import java.util.Arrays; import org.apache.commons.lang3.StringUtils; import org.apache.log4j.PropertyConfigurator; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; import org.apache.spark.api.java.function.Function2; public cl.. 2016. 4. 16.
Spark 시작하기07 - Java 와 Spark 와 Serializable Java 혹은 Scala로 람다를 작성시 Serializable Exception 이 자주 발생한다. 컴파일이 아닌, 런타임에러가 발생하므로,,, 도통 원인을 모르겠다. 하나하나 따져보자. 보통 자바 웹개발을 하는 사람은 Serializable을 볼 일이 거의 없다. 네트워크 소켓통신으로 객체를 주고받는 경우가 없기 때문이다.(직렬화) 보통 하는 일이 객체를 JSON 이나 XML로 변경하는 정도?? 그래서 더욱... Serializable Exception이 낯설다. 1. 성공케이스 package org.mystudy.testcase; import java.util.Arrays; import org.apache.log4j.PropertyConfigurator; import org.apache.spark... 2016. 4. 7.
Spark 시작하기06 - [러닝스파크] 로 전환 [Spark와 머신 러닝] 책으로 3장까지 공부하면서,,,파이썬 소스를 JAVA8로 전환하면서,,, 자연스럽게 많은 공부와 에러를 만나게 되었다. 항상... 왜 안되지?????? 라는 의문을 가진채.. 그도그럴것이...파이썬 소스는 완전 단축적이고, 데이터의 제너릭같은 것도 없고,파이썬 자체 라이브러리도 사용하다보니.. 그걸 다 맞춰가면서 JAVA8로 변형하는 것은 쉽지만은 않았다. 그러면서 결국... RDD 의 소중함!!!을 알게 되었다. RDD 가 핵심이구나.. [러닝스파크] 에서 말했던 RDD 가 이런거구나 라는 것을 체감하게 되었다.처음 [러닝스파크] 를 읽었을 때는,,, 뭐가 뭔가 하나도 몰랐는데... 역시 개발자는... 된다고 하는게... 안되는 현상을 경험하면서,,, 배우나 보다. [Spar.. 2016. 4. 4.