2023/04/07
Spark NLPでTransformerモデルをスケールする
- Hadoop
- Hive
- NLP
- Spark
- transformers
- データサイエンス
- データサイエンティスト
- ビッグデータ
- 機械学習
- 深層学習
「Hadoop」の記事一覧
-
-
2022/01/11
GCPの次はAWS Lake FormationとGoverned tableを試してみた（Glue Studio＆Athenaも）
- Athena
- AWS
- Glue
- GlueStudio
- Governed table
- Hadoop
- Hive
- LakeFormation
- PySpark
- S3
- Spark
- ビッグデータ
-
2022/01/11
GKE及びGCSを用いてSpark on K8s, Delta Lakeデータ解析基盤を構築してみた
- BigData
- GCP
- GCS
- GKE
- Hadoop
- kubernetes
- Spark
-
2021/10/08
β版のDataproc on GKE (Google Kubernetes Engine) でSparkを検証してみた～ついでにBigQueryのコストも調査
- Big Query
- Dataproc
- Dataproc Metastore
- GCP
- GKE
- Google Cloud
- Google Kubernetes Engine
- Hadoop
- kubernetes
- PySpark
- Spark
- ビッグデータ
-
2021/10/06
自前HadoopクラスタとApache Rangerを連携してみる
- Hadoop
- HDFS
- Ranger
- ビッグデータ
-
2021/10/02
KubernetesベースのSparkクラスターを検証するーアッドホック分析環境構築編
- Big Data
- ConoHa
- Data Engineer
- Delta Lake
- Hadoop
- HDFS
- kubernetes
- Spark
- Spark Cluster
- SparkOperator
- ビッグデータ
-
2021/07/07
Google Cloud PlatformでクラウドネイティブなHadoopクラスタを作ってSpark+Delta Lake+BigQueryを試してみた
- Big Query
- Dataproc
- Dataproc Metastore
- DeltaLake
- GCP
- Google Cloud
- Hadoop
- Spark
- ビッグデータ
-
2021/07/05
KubernetesベースのSparkクラスターを検証するー既存Hadoopクランスターと連携編
- Big Data
- ConoHa
- Data Engineer
- Delta Lake
- Hadoop
- HDFS
- kubernetes
- Spark
- Spark Cluster
- SparkOperator
- ビッグデータ
-
2021/04/08
ConoHaでHadoop(+Delta Lake)クラスタ再構築 ～Erasure Coding機能を使ってみた
- ConoHa
- DeltaLake
- Hadoop
- Patroni
- PostgreSQL
- Spark
- ビッグデータ
-
2021/04/08
○千万規模のコスト減！？OSSでHadoopクラスタを運用・管理したい ~ High Availabilityの章 ~
- Ansible AWX
- Hadoop
- High Availability
- ビッグデータ