[Hadoop-02]기초 예제 만들기(SingleFileWirteRead)

Kamangs 2017. 8. 26. 12:38

2017. 8. 26. 12:38

728x90

이번에 하둡예제중에서 가장 기초적인 예제인 SingleFileWriteRead를 해봄으로써

어떻게 하둡 프로그램을 만들고 배포할지, 어떻게 사용할지에 대해서 알아보자.

기본적으로 하둡프로그래밍은 메이븐 빌드를 쓴다는 전재를 깔고 들어가는경우가 많다.

사실 기본적인 메이븐 빌드를 사용하는게 좋을것 같긴한데 메이븐에 대해서 가르쳐주는건 이번 취지에 맞지 않다고 생각이 된다.

따라서 이번엔 메이븐 빌드를 사용하지 않고 순수 자바로 하는 법을 위주로 알려주려고 한다.

빌드에 가장 기본적인 jar파일은 hadoop-core jar파일이다. 이를 다운받기 위해서는 메이븐 레포지터리에 가야한다.

물론 메이븐프로젝트를 사용하면 이런 수고를 덜 수 있다. 쉽게 하고싶으면 메이븐을 배워라.

hadoop-core-0.20.2.jar를 다운받는다.

다운로드된것을 확인, 아무대나 보관해둔다.

그다음 프로젝트를 일반 java프로젝트로 만든다.

프로젝트 이름을 선택한다.

외부 jar파일을 사용할것이므로 추가해주자. 프로젝트를 우클릭한후 proeprties를 눌러준다.

Add External JARs를 눌러준다. 그 다음 hadoop-core를 추가해준다.

이제 예제를 실행해보자.

package test;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class SingleFileWriteRead {
    public static void main(String[] args) {
        if (args.length != 2) {
            System.out.println("Usage : SingleFileWriteRead <filename> <contents>");
            System.out.println();
        }
        Configuration conf = new Configuration();
        try {
            FileSystem hdfs = FileSystem.get(conf);
            Path path = new Path(args[0]);
            if (hdfs.exists(path)) {
                hdfs.delete(path, true);
            }
            FSDataOutputStream outStream = hdfs.create(path);
            outStream.writeUTF(args[1]);
            outStream.close();

            FSDataInputStream inputStream = hdfs.open(path);
            String inputString = inputStream.readUTF();
            inputStream.close();
            System.out.println("## inputString : " + inputString);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}