1 min read
...히 repartitioning 개수만 늘릴게 아니라 column 도 같이 신경써줘야 할거 같아서, repartition 과 partitionBy 함수를 함께 사용했음 범인을 찾는것 같다. postgreSQL dataframe 에서 파티셔닝을 안해줘서 에러가 발생한 것 같음. 한 executor 가 마스터 노드랑 연결이 끊어졌다고 스스로 죽어버리는 이슈가 있다. 대략 살펴보니 데이터의 skew...
Psql psql 는 컨멘드 라인 기반으로 postgreSQL 에 작성된 데이터베이스에 연결하거나 테이블에서 데이터를 검색 등을 할 수 있는 도구이다. psql h {호스트명} p {포트 번호} U {사용자명} d {데이터베이스명} Related R...