Devopsadept
- Kann ich Spark in einem Docker -Container laufen??
- So greifen Sie auf Docker auf Spark UI zu?
- Kann Funken Containerisiert werden?
Kann ich Spark in einem Docker -Container laufen??
0, Spark -Anwendungen können Docker -Container verwenden, um ihre Bibliotheksabhängigkeiten zu definieren, anstatt Abhängigkeiten von den einzelnen Amazon EC2 -Instanzen im Cluster zu installieren. Um Spark mit Docker auszuführen, müssen Sie zunächst die Docker -Registrierung konfigurieren und zusätzliche Parameter definieren, wenn Sie einen Funkenantrag senden.
So greifen Sie auf Docker auf Spark UI zu?
Gehen Sie zu Ihrer EC2 -Instanz und kopieren Sie die öffentliche IPv4 -Adresse. Fügen Sie Port: 18080 am Ende hinzu und fügen Sie ihn in eine neue Registerkarte ein. Der History -Server zeigt die Spark UI für die Kleberjobs an.
Kann Funken Containerisiert werden?
Containerisierung Ihrer Bewerbung
Der letzte Schritt besteht darin, ein Containerbild für unsere Spark -Anwendung zu erstellen, damit wir es auf Kubernetes ausführen können. Um unsere App zu containieren, müssen wir sie lediglich erstellen und auf Docker Hub weitergeben. Sie müssen Docker laufen lassen und in Docker Hub eingeloggt werden, wie beim Erstellen des Basisbildes.
