Spark 시작하기02

1.[러닝 스파크 - 제이펍]

: 스파크의 개념과 API 소개를 중심으로 구성되었다.

java maven spark version : spark-core_2.10 / 1.3.1 //다운로드 받은 소스에서

2.[Spark와 머신 러닝 - 에이콘]

: 머신러닝 알고리즘(MLlib)을 구현/실행하기 위해 필요한 Spark의 기능을 소개하는 구성이다.

java maven spark version : spark-core_2.10 / 1.2.0 //다운로드 받은 소스에서

[러닝 스파크] 를 보면, 정작 Spark를 왜 써야 하는지 구체적인 동기부여가 안되서,, 잘 안들어오고,,,

[Spark와 머신 러닝] 을 보면, 개념이 잡히지 않아서,,, 잘 모르겠다.

두 책을 함께 보아야겠다.

[Spark와 머신 러닝 - 에이콘] 책은... spark version을 1.2.0으로 사용하고 있지만,,,

현재 버전인1.6.0 으로 맞춰서 실습하였고, 1장만 JAVA 코드가 있고, 그 뒤부터는 파이썬, 스칼라 코드만 있다...

JAVA8 코드로 실습해볼 생각이다.

일단.

윈도우에서 스파크를 다운받아서 쉘을 시작하면, 에러가 난다.

JAVA maven으로 받아도 에러가 난다.

하둡때문이다.

스파크가 하둡 대체용이긴 하지만,, 하둡의 라이브러리를 사용하는 건지... 약간은 엮여 있는 것 같다.

좋은 방법은,,, 하둡이 있다는 증거를 만들어주는것,,,

자세한 방법은 아래에서

http://javacan.tistory.com/entry/%EC%9C%88%EB%8F%84%EC%9A%B0%EC%97%90%EC%84%9C-sparkshell-%EC%8B%A4%ED%96%89%ED%95%98%EA%B8%B0

참고 블로그들....

http://tomining.tistory.com/77

http://hyunje.com/data%20analysis/2014/10/31/wordcount-with-spark/

기사

글로벌 칼럼 | 스파크에서 마음에 들지 않는 5가지
Read more: http://www.itworld.co.kr/news/96548#csidx4aebba7d43b2337a647555505249263

Spark 시작하기01 (0)	2016.03.26

버그 리포트