Hive3のトランザクションを有効にしたテーブルにSpark2を連携してみる～Hive Warehouse Connector検証

こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 前回のブログでHive3の新しくなったACIDトランザクションを試しましたが、今回はそのトランザクションを有効にしたテー […]

2020/01/10

Hive3のトランザクションを試してみる

こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 前々回、前回のブログでLLAPとDruidとスナップショット機能を試しましたが、今回はHive3系で新しくなったACID […]

2019/10/08

Hive3とLLAPとDruidを試す ～HDP3.0.1.0～(後編：クエリ検証編)

こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 前回のブログでは構築がメインでしたが、今回の後編はHive3+LLAP+Druidのクエリ検証について書きたいと思います […]

2019/04/07

Hive3とLLAPとDruidを試す ～HDP3.0.1.0～(前編：構築編)

こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。ここのところずっと Hadoop ネタを続けてますが、今回はまだ出てそれほど時間が経ってないHive3（HDP3）をどうし […]

2019/01/16

Hadoop (Hive, Ambari など) が使う DB を Percona XtraDB Cluster & ProxySQL で冗長化してみた

こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 最近 MySQL 系のデータベース (Percona Server / PXC) に関するブログを立て続けに書いていまし […]

2018/04/10

Apache ArrowでPySparkとPandasをスピードアップしてみました

お疲れ様です。次世代システム研究室のK.S.（女性、外国人）です。 前回のブログでは、機械学習の技術とそれを用いた予測 「AIで株をやる！～株の売り買いを深層強化学習で予測～」 について紹介しました。今回は少し話題を変え […]

2017/12/17

Apache HAWQ を最新の Hadoop パッケージ ( HDP 2.5.3 ) で使ってみた（前編）

こんにちは。次世代システム研究室のデータベース・Hadoop (MySQL/MariaDB/PerconaServer, PostgreSQL, Hive, HBase, etc..) 担当のM.K.です。 今回は一連の […]

2017/04/04

Apache Apex を使ってストリーム処理を書いてみよう

こんにちは。次世代システム研究室で Hadoop 周辺をよく触っている T.O. です。 Hadoop 周辺をよく触っているので、最近 Hadoop 周辺を触ってきて得た話などを書いていきます。 ということで今回は、数あ […]

2017/03/28

Apache HAWQ を Hadoop パッケージ ( HDP 2.5.3 ) で使ってみた（後編）

こんにちは。次世代システム研究室のデータベース・NoSQL・Hadoop関連を担当しているM.K.です。 今回は Apache HAWQ を試した前編の続きの後編です。 後編では、HDFS や Hive と HAWQ を […]

2017/02/12

GreenplumDB と Hive on tez でデータのロードとクエリを試してみました

こんにちは。次世代システム研究室のデータベース・Hadoop (MySQL/MariaDB/PerconaServer, PostgreSQL, Hive, HBase, etc..) 担当のM.K.です。 今回は以前に […]

2017/01/11