-
spark-submit 시 외부 python 파일 전달 본문
spark-submit을 수행할때 pyspark에서 참조하는 python 파일도 같이 worker로 전달하여야 한다
1. 실행되는 pytnon 파일에 아래 문구 추가
sc.addFile("module_test.py")
2. 해당 file을 import 해서 사용
import module_test as mod
'SPARK' 카테고리의 다른 글
| spark dataframe 생성시 로드한 파일의 절대 경로 추가 (0) | 2020.01.10 |
|---|