EnFebruary 15, 2020
SparkをKubernetesへ移行
本案件では、VMで稼働しているSparkアプリケーションをKubernetesへ移行いたしました。
元々Kubernetesクラスタドリブンで利用しているお客様のため、よりKubernetesへ寄せたシステム構成を可能にいたしました。
設計フェーズ
まずは、既存のシステムの理解をさせていただき、その後構成に対して少しずつ移行いたしました。
コンテナでSpark Applicationを稼働させるため、少しコードの変更も伴うことも確認し、既存機能に影響がないように考慮して移行計画を実施いたしました。
https://github.com/GoogleCloudPlatform/spark-on-k8s-operator も利用し、Operatorによって管理させる設計等を議論させていただきました。
構築/移行フェーズ
基本的には週1回の定例を設定させていただき、進捗の共有等を実施しております。
移行にあたり、サービス停止や期限等は相談させていただき、実施いたしました。SLAの高いサービスですとより慎重に対応させていただきます。
納品
すべての開発が終えると、開発範囲の機能をテストし、各種設定内容の共有・ソースコードの納品・アプリケーションデプロイをおこない、納品いたします。
ありがとうございました！