org.apache.spark.sql.hive.HiveSessionStateBuilder کو انسٹی ٹیوٹ کرتے وقت CDH6.0 نے pyspark میں خرابی شروع کردی۔

Cdh6 0 Initializes Pyspark Error While Instantiating Org



سی ڈی ایچ کلسٹر میں پیس پارک کی خرابی شروع کرنا 'انسٹال کرتے وقت خرابی' org.apache.spark.sql.hive.HiveSessionStateBuilder ’: '

pyspark کی خرابی سی ڈی ایچ کے کلسٹر میں درج کی گئی ہے۔

[root@xxxxx:/opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/spark/bin] # pyspark Python 2.7.15 |Anaconda, Inc.| (default, May 1 2018, 23:32:55) [GCC 7.2.0] on linux2 Type 'help', 'copyright', 'credits' or 'license' for more information. Setting default log level to 'WARN'. To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Traceback (most recent call last): File '/opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/spark/python/pyspark/shell.py', line 45, in spark = SparkSession.builder File '/opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/spark/python/pyspark/sql/session.py', line 183, in getOrCreate session._jsparkSession.sessionState().conf().setConfString(key, value) File '/opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py', line 1257, in __call__ File '/opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/spark/python/pyspark/sql/utils.py', line 79, in deco raise IllegalArgumentException(s.split(': ', 1)[1], stackTrace) pyspark.sql.utils.IllegalArgumentException: u'Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':'

وجہ: جب اس کی شروعات ہوتی ہے تو پیس پارک کو چھتے کے ڈیٹا تک رسائی حاصل کرنے کی ضرورت ہوتی ہے۔ یہ کاروائی جڑ صارف کی وجہ سے ہے۔



کام کرنا: کمانڈ پر عملدرآمد کرنے کے لئے چھتے والے صارف پر جائیں



[root@xxxxx:/opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114/lib/spark/bin] # sudo -u hive pyspark Python 2.7.15 |Anaconda, Inc.| (default, May 1 2018, 23:32:55) [GCC 7.2.0] on linux2 Type 'help', 'copyright', 'credits' or 'license' for more information. Setting default log level to 'WARN'. To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 19/05/23 20:26:01 WARN lineage.LineageWriter: Lineage directory /var/log/spark/lineage doesn't exist or is not writable. Lineage for this application will be disabled. 19/05/23 20:26:03 WARN lineage.LineageWriter: Lineage directory /var/log/spark/lineage doesn't exist or is not writable. Lineage for this application will be disabled. Welcome to ____ __ / __/__ ___ _____/ /__ _ / _ / _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_ version 2.2.0-cdh6.0.0 /_/ Using Python version 2.7.15 (default, May 1 2018 23:32:55) SparkSession available as 'spark'. >>>

شیلین