DeepWordMatchモデルを用いてテキストフィーチャのみでCTR予測

こんにちは。次世代システム研究室のA.Z.です。

前回のブログでは、広告とドキュメントのキーワードエンティティを利用して、シンプルなモデルでctrの予測を簡単に試しました。精度的にもの足りない結果でしたので、今回は更にモデルのアーキテクチャを研究し、ctr予測における、キーワード x 広告テキストのモデルを紹介したいと思います。

はじめ

前回のブログはメディア記事キーワードエンティティと広告のキーワードエンティティのみを利用し、ctrを予測を行いましたが、検証した結果、AUCのscoreは約0.56になります。実運用のモデルの精度から考えると、スコアーが低いですが、他のフィーチャと組み合わせ、またはモデルの最適化を行えば、精度が改善される可能性があると思います。しかし、前回はかなりシンプルなモデルを利用しましたので、今回もテキストのフィーチャのみだけを利用し、モデルのアーキテクチャの変更を行い、再チャレンジしたいと思います。

前回利用しているデータセットはhash化されたエンティティIDしかなく、実際に何のエンティティの情報がなく、今回は新しいデータセットで実験してみました。
エンティティの抽出自体はそれなりに学習したコーパスに依存し、学習済のNERモデルは新しいデータセットに適用していたときに、エンティティの数があまり抽出できませんでした。学習済モデルを利用し、移転学習（Transfer Learning）を行えば、抽出数や精度が改善できると思いますが、今回はそれを対象外にし、単語単位のみを利用し、新しいモデルアーキテクチャで試してみたいと思います。

DeepWordMatch

今回利用したアーキテクチャ（DeepWordMatch)は以下の論文で発表されました。
Deep Character-Level Click-Through Rate Prediction for　Sponsored Search
https://arxiv.org/pdf/1707.02158.pdf

こちら論文を今回参考にした理由は実際にやりたいことと近いです。こちらの論文の特徴はユーザーや他の特徴などを利用せずに、テキスト情報のみ（クエリと広告）を利用して、ctr予測を行います。論文でリシュティング広告に応用し、クエリ　ｘ　広告をマッチングを行いますが、実際に、ディスプレイ広告やネーティブ広告に応用すると、クエリ＝メディア記事、広告＝広告クリエイティブや広告LP記事になり、特徴と性質的にに近いと思います。また、この手法はCNNベースなので、他のアプローチ（RNN、LSTM、 Transformer)に比べて、試しやすいだと思います。また、精度的にも良く、学習ための計算コストもそこまでかからないため、手軽に実験できます。

実際に、DeepWordMatchのアーキテクチャは以下です。


構成の詳細は次に話します。

Temporal Convolution Layer

上記の図では 「Temp Conv, X,Y」で記載される部分です。こちらの部分ばConv1Dというlayerで表現されます。画像は空間的な関連性がほとんど２次元のConvolution Layerを利用しますが、テキストは空間的な概念がなく、基本的に1次元のポジションの近い単語で関連性あるので、１次元のConvolution layerで表現されます。

詳細のソースコードは以下です。

class TemporalConvLayers(Layer):
    def __init__(self, num_filters, kernel_size, strides=1, padding='SAME', activation='linear'):
        super().__init__()
        self.layer = Conv1D(num_filters, kernel_size, strides=strides, padding=padding, activation=activation)

    def call(self, inputs, **kwargs):
        x = self.layer(inputs)
        return x

Temporal Convolution Block

上記の図では 「Conv Block, X」で記載される部分です。こちらは基本的に複数のTemporal Convolution Layer, Batch Normalization LayerとReLU Activation Layerの組み合わせ。詳細のブロックの内容は：


詳細のソースコードは以下です。

class ConvBlock(Layer):
    def __init__(self, num_filters, kernel_size, strides=1, padding='SAME'):
        super().__init__()
        self.conv_1 = Conv1D(num_filters, kernel_size, strides=strides, padding=padding)
        self.batch_norm_1 = BatchNormalization()
        self.relu_1 = ReLU()

        self.conv_2 = Conv1D(num_filters, kernel_size, strides=strides, padding=padding)
        self.batch_norm_2 = BatchNormalization()
        self.relu_2 = ReLU()

    def call(self, inputs, **kwargs):
        x = self.conv_1(inputs)
        x = self.batch_norm_1(x)
        x = self.relu_1(x)
        x = self.conv_2(x)
        x = self.batch_norm_2(x)
        x = self.relu_2(x)
        return x

Cross-Convolutional Operator部分

Cross-Convolutional Operatorでは基本的にクエリと広告の特徴をマージし、マージしたデータから、convolutionの処理で、クエリ x 広告の関連性を表現します。

全体のモデル

tensorflowで、全体のモデルをコードは以下になります。

class DeepWordMatchModel(Model):

    def __init__(self, batch_size: int, vocab_size: int, embedding_mat, params: dict):
        super().__init__(self)
        self.params = params
        self.vocab_size = vocab_size
        self.batch_size = batch_size
        self.embedding_matrix = embedding_mat
        self.conv_word_size = self.params.get("conv_word_size", 64)
        self.n = int(self.params.get("max_query_len", 30) * (self.params.get('max_doc_len', 30) / 2))

    def build(self, input_shape):
        self.embedding = Embedding(self.vocab_size, self.params.get("embedding_size", 50),
                                   embeddings_initializer=keras.initializers.Constant(self.embedding_matrix),
                                   trainable=False)
        self.doc_temp_conv = TemporalConvLayers(self.conv_word_size, 3)
        self.doc_conv_block = ConvBlock(self.conv_word_size, 3)
        self.doc_max_pool = MaxPool1D(2, 2, 'SAME')

        self.query_temp_conv = TemporalConvLayers(self.conv_word_size, 3)
        self.query_conv_block = ConvBlock(self.conv_word_size, 3)

        self.cross_temp_conv = TemporalConvLayers(self.conv_word_size, 3, activation='relu')
        self.cross_max_pool = MaxPool1D(4, 4, 'SAME')

        self.final1_conv_block = ConvBlock(self.conv_word_size * 2, 3)
        self.final1_max_pool = MaxPool1D(4, 4, 'SAME')

        self.final2_conv_block = ConvBlock(self.conv_word_size * 2, 3)
        self.final2_max_pool = MaxPool1D(4, 4, 'SAME')

        self.final3_fc1 = Dense(self.params.get('fc_output_size', 256), activation='relu')
        self.final3_fc2 = Dense(self.params.get('fc_output_size', 256), activation='relu')
        self.final3_fc3 = Dense(1, activation='sigmoid')

    def _cross_conv_op(self, query_out, doc_out):
        query_size = int(query_out.get_shape()[1])
        doc_size = int(doc_out.get_shape()[1])
        extended_query_conv_outputs = tf.concat([query_out] * doc_size, axis=1)
        extended_ad_conv_outputs = tf.concat([doc_out] * query_size, axis=1)
        cross_conv_outputs = tf.concat([extended_query_conv_outputs,
                                        extended_ad_conv_outputs], axis=-1)
        return cross_conv_outputs

    def call(self, inputs, training=None, mask=None):
        query = inputs['query']
        doc = inputs['doc']
        real_batch_size = query.get_shape()[0] if query.get_shape()[0] is not None else self.batch_size
        q = self.embedding(query)
        d = self.embedding(doc)

        q = self.query_temp_conv(q)
        q = self.query_conv_block(q)

        d = self.doc_temp_conv(d)
        d = self.doc_conv_block(d)
        d = self.doc_max_pool(d)

        # cross convolutional op
        x = self._cross_conv_op(q, d)
        x = self.cross_temp_conv(x)
        x = self.cross_max_pool(x)

        # final block1
        x = self.final1_conv_block(x)
        x = self.final1_max_pool(x)

        # final block2
        x = self.final2_conv_block(x)
        x = self.final2_max_pool(x)

        # final block3
        flat_dim = [real_batch_size, self.n * 2]
        x = tf.reshape(x, flat_dim)
        x = self.final3_fc1(x)
        x = self.final3_fc2(x)
        x = self.final3_fc3(x)
        return x

本論文では２つのモデル（DeepCharMatchとDeepWordMatch)が紹介されますが、今回の実験はDeepWordMatch(単語ベースモデル)のみを試しました。インプットの形式以外、ネットワークのアーキテクチャが同じなので、インプットの部分が少しい変更すれば、文字列ベースのモデルにも利用できると思います。

実験

今回の実験環境は以下になります。

• python 3.9
• tensorflow 2.7

データセットについて

今回利用しているデータは情報検索の分野にディープラーニングを応用するためのデータセットMS MARCO(https://microsoft.github.io/msmarco/)のデータを利用しています。具体的に、以下にgithubのプロジェクト(beir)から処理済のデータ(dataset-id: msmarco-v2)
https://github.com/UKPLab/beir

上記のデータから、以下の処理で、clickとnon-clickデータを作成します。

• 関連する(score=1.0)query_idとdoc_idをマージし、clickデータとして利用
• queryとdocをランダムでjoinし、関連しない(score=NULL)をscore=0としてアサインし、non-clickデータとしてを利用する。

clickしたデータの割合は約7%です。

関連する(click)データの例：

{
    "doc_id":11232928957,
    "query_id":881814,
    "query":"what neuron is found in the peripheral nervous system",
    "doc_text":"The Peripheral\r\nNervous System(PNS)contains only nerves\r\nand connects the brain and spinal cord (CNS) to the rest of the body. The axons and dendrites are surrounded by a white myelin sheath. Cell\r\nbodies are in the central nervous system (CNS) or ganglia. Ganglia are collections of nerve cell bodies.",
    "doc_title":"",
    "score":1,
    "query_proc":"neuron found peripheral nervous system",
    "doc_proc":"peripheral nervous system pns contains nerves connects brain spinal cord cns rest body axons dendrites surrounded white myelin sheath cell bodies central nervous system cns ganglia ganglia collections nerve cell bodies"
}

関連がない(non-click)データの例：