Apache Spark Web UI auf Kubernetes funktioniert nicht wie erwartet

1. Wie greife ich in Kubernetes auf Spark UI zu??
2. Können wir Funken auf Kubernetes laufen??
3. Wie kann ich einen Funkenjob auf Kubernetes Cluster einreichen??

Wie greife ich in Kubernetes auf Spark UI zu??

Die mit jeder Anwendung zugeordnete Benutzeroberfläche kann lokal mit Kubectl Port-Forward zugegriffen werden . Anschließend kann auf die Funken -Treiber -Benutzeroberfläche auf http: // localhost: 4040 zugegriffen werden .

Können wir Funken auf Kubernetes laufen??

Spark kann auf Clustern laufen, die von Kubernetes verwaltet werden. Diese Funktion nutzt native Kubernetes -Scheduler, die zu Spark hinzugefügt wurden. Der Kubernetes Scheduler ist derzeit experimentell. In zukünftigen Versionen kann es Verhaltensänderungen in Bezug auf Konfiguration, Containerbilder und Einstiegspunkte geben.

Wie kann ich einen Funkenjob auf Kubernetes Cluster einreichen??

Um Daten in S3 mit Spark Jobs zu verarbeiten, müssen Sie POM S3 -bezogene Abhängigkeiten hinzufügen. XML in Spark Source, um Abhängigkeiten fehlende Probleme zu vermeiden, wenn Spark Jobs im Cluster -Modus bei Kubernetes eingereicht wurden. Diese Abhängigkeiten sind diejenigen.