Spark 시작하기02
1.[러닝 스파크 - 제이펍]: 스파크의 개념과 API 소개를 중심으로 구성되었다.java maven spark version : spark-core_2.10 / 1.3.1 //다운로드 받은 소스에서 2.[Spark와 머신 러닝 - 에이콘]: 머신러닝 알고리즘(MLlib)을 구현/실행하기 위해 필요한 Spark의 기능을 소개하는 구성이다.java maven spark version : spark-core_2.10 / 1.2.0 //다운로드 받은 소스에서 [러닝 스파크] 를 보면, 정작 Spark를 왜 써야 하는지 구체적인 동기부여가 안되서,, 잘 안들어오고,,,[Spark와 머신 러닝] 을 보면, 개념이 잡히지 않아서,,, 잘 모르겠다. 두 책을 함께 보아야겠다. [Spark와 머신 러닝 - 에이콘] 책..
2016. 3. 26.
Spark 시작하기01
지난 1년간기계학습, 집단지성 등을 혼자 공부하면서, 무언가 회의감이 들었다.[머신러닝 인 액션], [집단지성 프로그래밍], [코딩 더 매트릭스] 책들이 파이썬으로 짜여있어서, 파이썬으로 로직(개념, 프로그래밍)을 분석해가며, 머신러닝 알고리즘을 이해해 가면서 공부를 했지만...시간적으로 많은 시간이 들었고, 개념적으로 깊게 들어가기에 어려움이 많았다. JAVA 웹개발자가... 그러한 과정으로 머신러닝을 공부하고, 활용할 수 있나 라는...의문이 들었다.또한,,, 머신러닝 알고리즘이 기본적으로 싱글스레드로 작성되었기 때문에... 실행을 하고, 결과를 내는 동안 시간이 오래 걸렸다. 30초 이상...그래서 과연 현재 공부하는 이... 로직이... 실제... 사례에서 가능할까? 라는 질문도 하게되었다. 한동..
2016. 3. 26.
[Programming Collective Intelligence] - 집단지성 프로그래밍 4장 정리
5.최적화 5-1. 단체 여행 5-2. 해답 표현하기 여러 다양한 최적화 기법을 적용 가능하도록 자료구조를 표현하는 것은 어찌보면 가장 중요하다. 우선 랜덤으로 표현이 가능해야 한다. 즉, 숫자로 표현이 되어야 한다. 그리고 랜덤으로 생성할 숫자의 범위도 집합으로 존재해야 한다. [1,4,3,2,7,3,6,3,2,4,5,3] 0에서 9까지의 숫자 집합. 12개이다. 12는 6명*2개(출국행,귀국행)을 의미하고 0에서 9는 출국행의 가능성이 10개임을 의미한다. domain = [(0, 9)] * (len(people) * 2) # [(0, 9), (0, 9), (0, 9), (0, 9), (0, 9), (0, 9), (0, 9), (0, 9), (0, 9), (0, 9), (0, 9), (0, 9)] 도..
2015. 9. 4.
