2021/10/08 β版のDataproc on GKE (Google Kubernetes Engine) でSparkを検証してみた~ついでにBigQueryのコストも調査 Big QueryDataprocDataproc MetastoreGCPGKEGoogle CloudGoogle Kubernetes EngineHadoopkubernetesPySparkSparkビッグデータ
2021/10/07 分散機械学習をゆりかごから墓場までサポート ~Analytics Zoo~ Analytics ZooBig DataData Scientistビッグデータ機械学習プラットフォーム
2021/10/02 KubernetesベースのSparkクラスターを検証するーアッドホック分析環境構築編 Big DataConoHaData EngineerDelta LakeHadoopHDFSkubernetesSparkSpark ClusterSparkOperatorビッグデータ
2021/07/07 Google Cloud PlatformでクラウドネイティブなHadoopクラスタを作ってSpark+Delta Lake+BigQueryを試してみた Big QueryDataprocDataproc MetastoreDeltaLakeGCPGoogle CloudHadoopSparkビッグデータ
2021/07/05 KubernetesベースのSparkクラスターを検証するー既存Hadoopクランスターと連携編 Big DataConoHaData EngineerDelta LakeHadoopHDFSkubernetesSparkSpark ClusterSparkOperatorビッグデータ
2021/04/08 ConoHaでHadoop(+Delta Lake)クラスタ再構築 ~Erasure Coding機能を使ってみた ConoHaDeltaLakeHadoopPatroniPostgreSQLSparkビッグデータ
2021/04/08 ○千万規模のコスト減!?OSSでHadoopクラスタを運用・管理したい ~ High Availabilityの章 ~ Ansible AWXHadoopHigh Availabilityビッグデータ
2021/04/06 Conoha VPS上にKubernetesベースのSparkクラスターを検証するー環境構築編 Big DataConoHaData EngineerHadoopkubernetesSparkSpark Clusterビッグデータ