본문 바로가기

전체 글174

이클립스 단축키 만들기 interface를 implements 한 구현class 가 있다.예) interface : TestService.java구현class : TestServiceImpl.java 보통 실제사용은 interface를 이용하므로interface 에서 실제 사용중인 구현class 로 파일이동하기 위해서 다음과 같은 작업을 거친다.TestService.java -> TestServiceImpl.java 1.해당 함수위에서 이클립스 단축키로 F3을 누르면 interface로 이동한다.2.구현 class로 이동하기 위해서는 해당 함수 위에서 Ctrl + Mouse left 하면 메뉴가 나오고Open Implementation 을 클릭해야 한다.굉장히 번거로운 작업이다. 이것을 F3과 같은 방식으로 단축키를 지정할 수.. 2016. 4. 8.
이클립스 플러그인 작성1 뚱딴지 같은 소리이지만,,, 외부 웹브라우저나 엑셀 셀의 하이퍼링크를 통해서현재 OS에 실행되어 있는 이클립스에 접근 할 수 있다. 이클립스에 접근해서특정 파일을 open 할수 있고,특정 파일의 특정 line으로 이동할 수 있다. > 기대효과 :이클립스의 북마크 기능을 대체.웹서버로 파일 위치를 공유해서(JIRA, 형상관리 등등)파일 접근을 빠르게 시도!개인적으로는 엑셀로 파일 수정 사항을 정리 할 수 있음. > 아이디어 :기능을 개선하면,,,외부에서 이클립스 원격 작업도 가능. (물론, 이클립스 자체적으로 원격 API가 존재하는지는 모르겠지만;;;) 방법:1.임의의 플러그인을 만든다.2.작성한 플러그인 내부에는 두가지 기능이 있다.3.첫번째 기능은 이클립스 startup 할때, SocketServer .. 2016. 4. 8.
Spark 시작하기07 - Java 와 Spark 와 Serializable Java 혹은 Scala로 람다를 작성시 Serializable Exception 이 자주 발생한다. 컴파일이 아닌, 런타임에러가 발생하므로,,, 도통 원인을 모르겠다. 하나하나 따져보자. 보통 자바 웹개발을 하는 사람은 Serializable을 볼 일이 거의 없다. 네트워크 소켓통신으로 객체를 주고받는 경우가 없기 때문이다.(직렬화) 보통 하는 일이 객체를 JSON 이나 XML로 변경하는 정도?? 그래서 더욱... Serializable Exception이 낯설다. 1. 성공케이스 package org.mystudy.testcase; import java.util.Arrays; import org.apache.log4j.PropertyConfigurator; import org.apache.spark... 2016. 4. 7.
Spark 시작하기06 - [러닝스파크] 로 전환 [Spark와 머신 러닝] 책으로 3장까지 공부하면서,,,파이썬 소스를 JAVA8로 전환하면서,,, 자연스럽게 많은 공부와 에러를 만나게 되었다. 항상... 왜 안되지?????? 라는 의문을 가진채.. 그도그럴것이...파이썬 소스는 완전 단축적이고, 데이터의 제너릭같은 것도 없고,파이썬 자체 라이브러리도 사용하다보니.. 그걸 다 맞춰가면서 JAVA8로 변형하는 것은 쉽지만은 않았다. 그러면서 결국... RDD 의 소중함!!!을 알게 되었다. RDD 가 핵심이구나.. [러닝스파크] 에서 말했던 RDD 가 이런거구나 라는 것을 체감하게 되었다.처음 [러닝스파크] 를 읽었을 때는,,, 뭐가 뭔가 하나도 몰랐는데... 역시 개발자는... 된다고 하는게... 안되는 현상을 경험하면서,,, 배우나 보다. [Spar.. 2016. 4. 4.
Spark 시작하기05 - Exception 16/04/03 21:12:53 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable16/04/03 21:12:57 WARN : Your hostname, MSDN-SPECIAL resolves to a loopback/non-reachable address: fe80:0:0:0:0:5efe:c0a8:5%net12, but we couldn't find any external IP address!Exception in thread "main" org.apache.spark.SparkException: Task not serializabl.. 2016. 4. 3.
Spark 시작하기04 - [Spark와 머신 러닝] 3장 스파크를 이용한 데이터 수집, 프로세싱, 준비 python으로 짜여진 소스코드를 java8 로 작성하였다. 콘솔 로그 출력하기에 유용한 기능을 유틸로 만들었다. package org.test.sparkNmachineLearning3; import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.log4j.PropertyConfigurator; public class LogUtil { List currentFile = null; public boolean isDebug = true; private int stackTraceDepth; pu.. 2016. 4. 3.
Spark 시작하기03 - [Spark와 머신 러닝] 1장 스파크의 시작과 구동 무비스트림 47p 자바로 개발하는 스파크 프로그램의 첫 단계... 인데... 시작부터 에러 발생이다.-_-;; 에러를 고치기 위해 구글 자료를 찾아가면서, Spark를 배워나간다.;;;;;한번에 속시원하게 풀리지 않고, 찾아봐야 하는... 이런 방법... 결국 도움은 되지만,,, 정말 힘들다... 또한 JAVA8 버전으로 변형! 파이썬이든, 스칼라든, 자바들,,,결국은 성능을 위해 스칼라로 작성해야 한다.파이썬이 다양한 라이브러리가 많아 편할지 모르지만,,, 결국은 스칼라 이므로,,,일단은 JAVA8 함수형으로 구현한다. JAVA8의 스트림기능처럼 .().().()........ 엮어서 표현하는 것이 간단하지만,,, 공부할때는 모두 풀어서 작성하자, 어떤 형태로 리턴되는지 알 수 있어서 명확히 개념을 알.. 2016. 3. 27.
Spark 시작하기02 1.[러닝 스파크 - 제이펍]: 스파크의 개념과 API 소개를 중심으로 구성되었다.java maven spark version : spark-core_2.10 / 1.3.1 //다운로드 받은 소스에서 2.[Spark와 머신 러닝 - 에이콘]: 머신러닝 알고리즘(MLlib)을 구현/실행하기 위해 필요한 Spark의 기능을 소개하는 구성이다.java maven spark version : spark-core_2.10 / 1.2.0 //다운로드 받은 소스에서 [러닝 스파크] 를 보면, 정작 Spark를 왜 써야 하는지 구체적인 동기부여가 안되서,, 잘 안들어오고,,,[Spark와 머신 러닝] 을 보면, 개념이 잡히지 않아서,,, 잘 모르겠다. 두 책을 함께 보아야겠다. [Spark와 머신 러닝 - 에이콘] 책.. 2016. 3. 26.