작업 제출 중에 JobTracker에 전달된 HDFS 위임 토큰은 작업이 완료되면 JobTracker에 의해 취소됩니다. 이는 mapreduce.job.complete.cancel.delegation.tokens가 JobConf에서 false로 설정되지 않는 한 기본 동작입니다. 작업이 차례로 생성되는 작업의 경우 이 작업은 false로 설정되어야 합니다. JobClient 측의 여러 작업 간에 JobConf 개체를 공유하는 응용 프로그램은 mapreduce.job.complete.cancel.delegation.tokens를 false로 설정하는 것을 고려해야 합니다. 이는 JobConf 내의 자격 증명 개체가 공유되기 때문입니다. 모든 작업은 동일한 토큰을 공유하게 되므로 시퀀스의 작업이 완료되면 토큰을 취소해서는 안 됩니다. MapReduce 프레임워크는 디버깅을 위해 사용자가 제공한 스크립트를 실행하는 기능을 제공합니다. MapReduce 작업이 실패하면 사용자는 디버그 스크립트를 실행하여 작업 로그를 처리할 수 있습니다. 스크립트는 작업의 stdout 및 stderr 출력, syslog 및 jobconf에 대한 액세스 권한이 부여됩니다. 디버그 스크립트의 stdout 및 stderr의 출력은 콘솔 진단 및 작업 UI의 일부로 표시됩니다. Hadoop 프레임워크는 JavaTM에서 구현되지만 MapReduce 응용 프로그램을 Java로 작성할 필요는 없습니다. 그러나 구성된 작업 ACL에 관계없이 작업의 소유자, 수퍼유저 및 클러스터 관리자(mapreduce.cluster.administrators) 및 작업이 제출된 큐의 큐 관리자( mapred.queue.queue.queue.name.acl-관리-작업) 항상 작업을 보고 수정할 수 있는 액세스 권한이 있습니다. 이 hadoop 튜토리얼은 hadoop 개발자에게 그들의 첫 번째 hadoop 기반 워드 카운트 응용 프로그램을 개발하는 실습 경험을 제공함으로써 하두 맵감소 프로그래밍의 세계에서 좋은 시작을 제공하는 것을 목표로하고있다.

Hadoop MapReduce WordCount 예제는 하두프 개발자가 실습 프로그래밍을 시작하는 표준 예제입니다. 이 자습서에서는 hadoop 개발자가 MapReduce에서 WordCount 예제 코드를 구현하는 방법을 학습하여 입력 파일에서 지정된 단어의 발생 수를 계산하는 방법을 알아봅니다. Hadoop은 또한 성능 (zlib) 및 자바 라이브러리의 비 가용성의 이유로 위의 압축 코덱의 기본 구현을 제공합니다. 사용 및 가용성에 대한 자세한 내용은 여기에서 확인할 수 있습니다. 다음은 jvm GC 로깅을 보여주는 여러 인수 및 대체 와 예제이며 암호가없는 JVM JMX 에이전트를 시작하여 jconsole 및 좋아하는 자식 메모리, 스레드를 보고 스레드 덤프를 얻을 수 있도록합니다. 또한 맵의 최대 힙 크기를 설정하고 자식 jvm을 각각 512MB 및 1024MB로 줄입니다. 또한 자식 jvm의 java.library.path에 추가 경로를 추가합니다. 우리가 이해하자, MapReduce 내가 다음과 같이 그 내용이 example.txt라는 텍스트 파일이 있는 예제를 복용하여 작동: hadoop 항아리 hadoop-mapreduce-example.jar WordCount /샘플/입력/출력 선택적으로 사용자는 또한 지시할 수 있습니다 분산 캐시는 분산 캐시.createSymlink(구성) API를 통해 캐시된 파일을 작업의 현재 작업 디렉토리에 심볼링합니다.