목록전체 글 (11)
-
netty를 사용하는 도중에 위와 같은 에러 발생. 해당 내역은 응답으로 보내는 response의 크기가 커서 발생하는 error이다. 적당히 보내는 리퀘스트 크기에 맞게 아래의 설정을 넣어 주자~~ NettyStartUp.runServer(port, new ChannelInitializer() { @Override public void initChannel(SocketChannel ch) { ChannelPipeline p = ch.pipeline(); // Sends a ping message when there is no outbound traffic for 30 seconds. // The connection is closed when there is no inbound traffic for 60..
아래와 같이 칼럼을 추가하면 데이터 프레임을 생성할때 사용한 파일의 hdfs 상의 절대 경로를 얻을 수 있다. df.withColumn("input_file", input_file_name())
hadoop 클라이언트 설치 yum repo 추가 [cloudera-manager] name=Cloudera Manager 6.1.1 baseurl=https://archive.cloudera.com/cdh6/6.1.1/redhat7/yum/ gpgkey=https://archive.cloudera.com/cdh6/6.1.1/redhat7/yum/RPM-GPG-KEY-cloudera gpgcheck=1 sudo yum install hadoop-client
팀 내 모델러 분이 linux에서 rstudio를 사용하여 모델링을 하시던 중. 어제까지 잘 되던 rstudio가 로그인 할려고 하면, 계속 대기 상태에 있다며 확인 요청이 들어왔다. 나도 잘 아는게 없지만, 일단 로그를 확인해보기로 했다. 로그는 별다른 설정이 없었다면, 아래의 위치에 있다. /var/log/messages 해당 로그를 열어보니,, 불친절한 로그만 존재하고,, 정확히 모가 문제인지를 잘 모르겠다,, 물론 C를 잘 모르기때문이기도 하지만,, Dec 9 20:59:25 xxxxxx rsession-modeling[51272]: ERROR r error 4 (R code execution error) [errormsg=invalid 'definition' argument]; OCCURRED ..
로그를 처리하다 보니, utf-8로 encoding된 문자열 자체를 처리할 경우가 있었다. 단순히 decoding하면 될꺼라 생각했었는데,, 생각보다 잘 안되어서 정리한다. Pyhton 2.x def decode_str(self,raw): try: result = raw.decode('string-escape').decode("utf-8") except: result = raw return result Python 3.x ( 3.x는 기본 인코딩이 utf-8이고, str에서 decode, encode가 없어졌다,,,) def string_escape(s, encoding='utf-8'): return (s.encode('latin1') # To bytes, required by 'unicode-escap..
[OOZIE] workflow의 job의 status 확인
서비스에서 사용하고 있는 데이터 중 일부는 sqoop을 oozie의 workflow에 등록해서 데이터를 생성하고 있었다. 그러던 중 해당 job이 정상으로 처리되었는지 확인 할 수 있는 flag를 넣어 줄수 있느냐는 요청을 받았다. 물론 각 job이 끝난 뒤에 fs를 통해서 flag를 만들수는 있었으나, 이미 사용하고 있는 job들이 너무 많아서 그렇게 하기는 좀 비효율적이여서, 다른 방법을 찾아보기로 했다. 1> sqoop이 완료되면 자동으로 flag를 남기는 기능이 있을까? 2> oozie에서 해당 job이 끝나면 flag를 남기게 할수 있지 않을까? 이러저리 방법을 찾아봤는데, 1>의 방법은 지원이 되는게 없었고, 2>번의 경우엔 해당 job이 끝나고, 다음 job이 시작될때, 준비에서 mkdir로..
which impala-shell /usr/bin/impala-shell impala-shell은 python2에서 작성이 되어있다. 그래서 환경을 python3로 잡으면 아래의 에러를 볼수 있다. impala-shell File "/usr/lib/impala-shell/impala_shell.py", line 248 print '\nAdvanced Query Options:' 모,, python이 하위 호환이 안되고,, 그 중 가장 큰게,, print시 ()가 없으면 python3에서는 에러가 발생되는건데,,, 방법은 2가지가 있다. /usr/lib/impala-shell/impala_shell.py의 모든 print를 찾아서, ()를 넣어주는 방법(이건 좀 아닌듯)과 impala-shell 실행시 p..