apache-spark

Bonjour ma configuration Spark en JAVA est: ss=SparkSession.builder() .config("spark.driver.host", "192.168.0.103") ... ont en attente sont soumis à partir du code java. Essayé toutes les solutions de tous les sites. Aucune idée s'il vous plaît.

Puis-je obtenir une référence pour les api de Java+ spark sql accédant au magasin d'objets emc via l'api S3. J'ai essayé de n ... sin d'objets sur emc qui autorise les noms de compartiments avec " ". Mais je veux y accéder par spark sql mais via l'api S3.

J'ai lu dans un fichier texte de doubles et l'ai stocké dans un JavaRDD, mais j'ai du mal à implémenter une multiplication ma ... es mathématiques sous-jacentes mais je ne peux pas configurer les paires de clés matricielles et les multiplier correctement.

J'exécute spark sur une seule machine, avec 24 cœurs, 48G de Ram. Je suis capable de former un modèle implicite avec 6M d'u ... toujours la même erreur. Trace d'erreur dans la pile: https://www.dropbox.com/s/g2vlmtjo8bb4gd1/javaheapspaceerror.txt?dl=0

J'ai ce code, je veux insérer dans hive mais pour l'instant imprimer sur console. Si je fais une chaîne simple au lieu d'un ... mno": "VODAFONE", "mvno": "MOBILCOM-DEBITEL", "mcc": "262", "mnc": "2" } } }

En-tête 1 # code spark importé à exécuter sur eclipse Obtenir des erreurs de construction Cela fonctionne bien sur le termina ... ntext.<init>(SparkContext.scala:204) at SimpleApp$.main(SampleApp.scala:14) at SimpleApp.main(SampleApp.scala)

J'ai installé Spark dans un dossier de mon répertoire personnel et je l'ai ajouté à mon .bash_profile. Depuis le terminal, j ... é à ce sujet dans la documentation. Merci! J'utilise Mac OS Catalina 10.15.4, RStudio Version 1.2.5033, Spark version 2.4.5

Je ne comprends pas comment Spark gère ou télécharge les paquets fournis par l'interface Scala. Pour mon cas spécifique; je s ... /native à $SPARK_HOME/conf/spark-env.sh; mais cela n'a pas résolu de lancer l'avertissement ou de donner l'erreur ci-dessus.

J'ai parcouru les questions et pages suivantes à la recherche d'une réponse à mon problème, mais elles n'ont pas résolu mon p ... cuteurs, mais ils ne contiennent également aucune des instructions de journal que j'ai données. Merci de m'aider à cet égard.

Dans spark, la sérialisation java est la valeur par défaut, si kryo est aussi efficace, alors pourquoi il n'est pas défini pa ... aut. Y a-t-il des inconvénients à utiliser kryo ou dans quels scénarios nous devrions utiliser la sérialisation kryo ou java?

J'essaie de lire un fichier CSV stocké dans le compte de stockage Azure. Pour cela, j'ai installé une étincelle sur ma machin ... ://<container_name>@<storage_account_name>.blob.core.windows.net/<path_to_csv>/sample_file.csv") df.show()

Je traite un flux JSON kafka dans le streaming structuré Spark. Traitement sous forme de micro-lots, puis-je utiliser des acc ... Cela fonctionne, mais je n'ai aucune valeur dans les journaux et je ne vois pas l'accumulateur dans l'interface graphique.

J'essaie actuellement de spark-soumettre un pot de graisse à un cluster local, que j'ai développé en utilisant Spark 2.4.6; S ... =============Successfully wrote to avro consumer on localhost kafka consumer========================" + "\n"+ "\n") } }

J'essaie d'installer Spark dans mon Windows 10 avec Anaconda, mais j'ai eu une erreur lorsque j'essaie d'exécuter pyspark dan ... Java 8 (pas 10) J'en dépense déjà heures d'essayer, même une réinstallation Anaconda parce que je supprime un environnement.

Ho alcune librerie client di database di terze parti in Java. Voglio accedervi attraverso java_gateway.py Ad esempio: per re ... to mi rende sospettoso. Sembra che ci sia qualche altro meccanismo che sta accadendo per impostare il classpath laterale JVM.

Lavoro con Apache Spark + Scala da oltre 5 anni (esperienze accademiche e professionali). Ho sempre trovato Spark / Scala una ... testa intorno a questi. Quindi, voglio usare questa piattaforma per una discussione aperta tra Spring Batch e Apache Spark.

Sto usando spark con java e voglio usare spark Job-Server. Per questo ho seguito tutto in questo link : https://github.com/s ... scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107) job-server ... finished with exit code 255

Ho provato a eseguire una query hive nella CLI Hive, dopo aver configurato Hive per funzionare Spark. Quando spark.master è ... or$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) Lavoro con Spark 1.4.1 e Hive 1.2.1

Sto ricevendo l'eccezione di seguito su un'applicazione di streaming Spark a lunga esecuzione. L'eccezione potrebbe verifica ... enerator$$anon$1.onReceive(JobGenerator.scala:86) at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:48)

Ho una versione di prova Bluemix e voglio usarlo con un'applicazione Java che ho sviluppato usando Spark framework usando swi ... ogramma come Softlayer non supporta keystone? Ci sono esempi che posso guardare per la distribuzione di tale app in Bluemix?