ビッグデータの新しい基盤としてHadoop上でSpark＋Delta Lakeを検証してみた
こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 前回データベースのテーマでPostgreSQL＆Patroniを検証しましたが、今回はまたHadoop系のテーマでDel […]
2020/07/08
Kudu+Spark+Impalaを手元で試す環境を構築する
こんにちは。次世代システム研究室のS.T.です。 前回に引き続き，大規模データ関連ネタです。今回は，分散データストア「Kudu」を主軸に，SparkとImpalaを使ったアプリケーションの構成を簡単に実験してみたいと思い […]
2020/07/01
DBクラスタをCentOS8にPostgreSQL12+Patroniで構築してみた
こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 最近はずっとHadoopの検証を行っていましたが、今回はデータベースのテーマに戻ろうと思います。 前に書いた以下のブログ […]
2020/04/08
Apache Impala 3.3をビルドして新機能を試す – S3のファイルハンドルキャッシュ
はじめに こんにちは。次世代システム研究室のS.T.です。 昨今の世の中の事情もあり，データを集めること，それを適切に処理することの重要性が再認識されているのではないでしょうか。また，CDHやHDPといったHadoopデ […]
2020/04/01
Hive3のトランザクションを有効にしたテーブルにSpark2を連携してみる～Hive Warehouse Connector検証
こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 前回のブログでHive3の新しくなったACIDトランザクションを試しましたが、今回はそのトランザクションを有効にしたテー […]
2020/01/10
Hive3のトランザクションを試してみる
こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 前々回、前回のブログでLLAPとDruidとスナップショット機能を試しましたが、今回はHive3系で新しくなったACID […]
2019/10/08
Hive3とLLAPとDruidを試す ～HDP3.0.1.0～(後編：クエリ検証編)
こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 前回のブログでは構築がメインでしたが、今回の後編はHive3+LLAP+Druidのクエリ検証について書きたいと思います […]
2019/04/07
Hive3とLLAPとDruidを試す ～HDP3.0.1.0～(前編：構築編)
こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。ここのところずっと Hadoop ネタを続けてますが、今回はまだ出てそれほど時間が経ってないHive3（HDP3）をどうし […]
2019/01/16
Hadoop (Hive, Ambari など) が使う DB を Percona XtraDB Cluster & ProxySQL で冗長化してみた
こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 最近 MySQL 系のデータベース (Percona Server / PXC) に関するブログを立て続けに書いていまし […]
2018/04/10
Apache ArrowでPySparkとPandasをスピードアップしてみました
お疲れ様です。次世代システム研究室のK.S.（女性、外国人）です。 前回のブログでは、機械学習の技術とそれを用いた予測 「AIで株をやる！～株の売り買いを深層強化学習で予測～」 について紹介しました。今回は少し話題を変え […]
2017/12/17