Spark 시작하기03 - [Spark와 머신 러닝] 1장 스파크의 시작과 구동
무비스트림 47p 자바로 개발하는 스파크 프로그램의 첫 단계... 인데... 시작부터 에러 발생이다.-_-;; 에러를 고치기 위해 구글 자료를 찾아가면서, Spark를 배워나간다.;;;;;한번에 속시원하게 풀리지 않고, 찾아봐야 하는... 이런 방법... 결국 도움은 되지만,,, 정말 힘들다... 또한 JAVA8 버전으로 변형! 파이썬이든, 스칼라든, 자바들,,,결국은 성능을 위해 스칼라로 작성해야 한다.파이썬이 다양한 라이브러리가 많아 편할지 모르지만,,, 결국은 스칼라 이므로,,,일단은 JAVA8 함수형으로 구현한다. JAVA8의 스트림기능처럼 .().().()........ 엮어서 표현하는 것이 간단하지만,,, 공부할때는 모두 풀어서 작성하자, 어떤 형태로 리턴되는지 알 수 있어서 명확히 개념을 알..
2016. 3. 27.
Spark 시작하기02
1.[러닝 스파크 - 제이펍]: 스파크의 개념과 API 소개를 중심으로 구성되었다.java maven spark version : spark-core_2.10 / 1.3.1 //다운로드 받은 소스에서 2.[Spark와 머신 러닝 - 에이콘]: 머신러닝 알고리즘(MLlib)을 구현/실행하기 위해 필요한 Spark의 기능을 소개하는 구성이다.java maven spark version : spark-core_2.10 / 1.2.0 //다운로드 받은 소스에서 [러닝 스파크] 를 보면, 정작 Spark를 왜 써야 하는지 구체적인 동기부여가 안되서,, 잘 안들어오고,,,[Spark와 머신 러닝] 을 보면, 개념이 잡히지 않아서,,, 잘 모르겠다. 두 책을 함께 보아야겠다. [Spark와 머신 러닝 - 에이콘] 책..
2016. 3. 26.
Spark 시작하기01
지난 1년간기계학습, 집단지성 등을 혼자 공부하면서, 무언가 회의감이 들었다.[머신러닝 인 액션], [집단지성 프로그래밍], [코딩 더 매트릭스] 책들이 파이썬으로 짜여있어서, 파이썬으로 로직(개념, 프로그래밍)을 분석해가며, 머신러닝 알고리즘을 이해해 가면서 공부를 했지만...시간적으로 많은 시간이 들었고, 개념적으로 깊게 들어가기에 어려움이 많았다. JAVA 웹개발자가... 그러한 과정으로 머신러닝을 공부하고, 활용할 수 있나 라는...의문이 들었다.또한,,, 머신러닝 알고리즘이 기본적으로 싱글스레드로 작성되었기 때문에... 실행을 하고, 결과를 내는 동안 시간이 오래 걸렸다. 30초 이상...그래서 과연 현재 공부하는 이... 로직이... 실제... 사례에서 가능할까? 라는 질문도 하게되었다. 한동..
2016. 3. 26.
