2023.10.10

AWS SQSのFIFOキューを検証してみる

はじめに

こんにちは。グループ研究開発本部次世代システム研究室のK.X.Dです。
AWS SQSのFIFOキューについて、特殊機能を検証してみます。
検証目的は同時に高スループットリクエストの時にも、FIFOキューはちゃんと順序保証できることを証明します。

1.やりたいこと
2.環境構築
3.検証実施
4.まとめ

1.やりたいこと

AWS SQSのFIFOキュー設定
AWS SDK実行環境設定
FIFOキュー機能を実検証

2.環境構築

2-1.AWS SQSのFIFOキュー設定

+ キュータイプ：FIFO
+ メッセージ受信待機時間：20秒（ロングポーリング）
+ コンテンツに基づく重複排除：ON（ONにしないと、メッセージ送信の際にMessageDeduplicationIdが必須）

2-2.AWS SDK実行環境設定

今回は、AWS SDKをインストールCakephp環境で実験してみようと思います。

Dockerfile

FROM php:7.3-apache

COPY php.ini /usr/local/etc/php/

RUN apt-get update \
    && apt-get install -y unzip libicu-dev \
    && docker-php-ext-install intl \
    && docker-php-ext-install pdo_mysql \
    && a2enmod rewrite \
    && apt-get clean \
    && rm -fr /var/lib/apt/lists/*

WORKDIR /var/www/html

docker-compose

version: "3.7"
volumes:
  db-store:
    driver: local
services:
    myapp:
        build: ./docker/php
        platform: linux/x86_64
        ports:
        - "8888:80"
        tty: true
        stdin_open: true
        volumes:
            - ./src:/var/www/html
        depends_on:
            - db
    phpmyadmin:
        container_name: 'phpmyadmin'
        image: phpmyadmin/phpmyadmin
        ports:
            - '8889:80'
        depends_on:
            - db
        environment:
            - PMA_HOST=db
            - PMA_USER=user
            - PMA_PASSWORD=secret
    db:
        image: mysql:5.7
        platform: 'linux/amd64'
        volumes:
            - ./docker/mysql/conf.d:/etc/mysql/conf.d
            - db-store:/var/lib/mysql
        ports:
            - '8887:3306'
        environment:
            MYSQL_DATABASE: sampledb
            MYSQL_USER: user
            MYSQL_PASSWORD: secret
            MYSQL_ROOT_PASSWORD: secret
            TZ: "Asia/Tokyo"

DB接続必要がないですが、Cakephp環境構築揃えるためにDB Containerを用意しておきました。

環境インストール：

// Docker Container起動
docker compose up -d

// Docker Container内に、Composerインストール（https://getcomposer.org/download/）

php -r "copy('https://getcomposer.org/installer', 'composer-setup.php');"
php -r "if (hash_file('sha384', 'composer-setup.php') === 'e21205b207c3ff031906575712edab6f13eb0b361f2085f1f1237b7126d785e826a450292b6cfd1d64d92e6563bbde02') { echo 'Installer verified'; } else { echo 'Installer corrupt'; unlink('composer-setup.php'); } echo PHP_EOL;"
php composer-setup.php
php -r "unlink('composer-setup.php');"


// Cakephp Install
cd /var/www/html && composer self-update && composer create-project --prefer-dist cakephp/app:^3.8 .

// AWS SDK Install
composer require aws/aws-sdk-php

AWS SDKの認証情報設定：

今回検証のために、AWSアクセスポータルを利用して、一時的のシクレートトークンを取得します。
参照：https://docs.aws.amazon.com/ja_jp/signin/latest/userguide/iam-id-center-sign-in-tutorial.html

AWS Access Key ID、AWS Secret Access Key、AWS Session Tokenのそれぞれは、Docker Container内の/root/.aws/credentialsに保存します。

[default]
aws_access_key_id = {AWS Access Key ID}
aws_secret_access_key = {AWS Secret Access Key}
aws_session_token = {AWS Session Token}

3.FIFOキュー機能を実検証

3-1.SQS Producerを作成する

/src/ShellファルダーにSqsProducerShell.phpを作成する

<?php
namespace App\Shell;

use Cake\Console\Shell;
use Aws\Sqs\SqsClient;
use Aws\Credentials\CredentialProvider;

/**
 * Sqs shell command.
 */
class SqsProducer extends Shell
{
    /**
     * Manage the available sub-commands along with their arguments and help
     *
     * @see http://book.cakephp.org/3.0/en/console-and-shells.html#configuring-options-and-generating-help
     *
     * @return \Cake\Console\ConsoleOptionParser
     */
    public function getOptionParser()
    {
        $parser = parent::getOptionParser();

        $parser
        ->addOption('bodyContent', [
            'help' => __('Body content')
        ]);

        return $parser;
    }

    /**
     * main() method.
     *
     * @return bool|int|null Success or error code.
     */
    public function main()
    {
        $bodyContent = isset($this->params['bodyContent']) ? $this->params['bodyContent'] : "SQS Test Body";
        $provider = CredentialProvider::defaultProvider();

        $sqsClient = new SqsClient([
            'profile' => 'default',
            'region' => 'ap-northeast-1',
            'version' => '2012-11-05',
            'credentials' => $provider
        ]);
        // for from 1 to 100
        for ($i = 1; $i <= 100; $i++) {
            $params = [
                'MessageAttributes' => [
                    "Index" => [
                        'DataType' => "String",
                        'StringValue' => strval($i)
                    ],
                    "ExecuteTime" => [
                        'DataType' => "String",
                        'StringValue' => strval(microtime(true))
                    ]
                ],
                'MessageGroupId' => 'messageGroup',
                'MessageBody' => $bodyContent . $i,
                'QueueUrl' => 'https://sqs.ap-northeast-1.amazonaws.com/153216492591/first_queue.fifo'
            ];
    
            $result = $sqsClient->sendMessage($params);

            var_dump($result);
        }
    }
}

3-2.SQS Consumerを作成する

/src/ShellファルダーにSqsConsumerShell.phpを作成する

<?php
namespace App\Shell;

use Cake\Console\Shell;
use Aws\Sqs\SqsClient;
use Aws\Credentials\CredentialProvider;
use Aws\Exception\AwsException;

/**
 * Sqs shell command.
 */
class SqsConsumerShell extends Shell
{
    /**
     * Manage the available sub-commands along with their arguments and help
     *
     * @see http://book.cakephp.org/3.0/en/console-and-shells.html#configuring-options-and-generating-help
     *
     * @return \Cake\Console\ConsoleOptionParser
     */
    public function getOptionParser()
    {
        $parser = parent::getOptionParser();

        return $parser;
    }

    /**
     * main() method.
     *
     * @return bool|int|null Success or error code.
     */
    public function main()
    {
        $provider = CredentialProvider::defaultProvider();

        $sqsClient = new SqsClient([
            'profile' => 'default',
            'region' => 'ap-northeast-1',
            'version' => '2012-11-05',
            'credentials' => $provider
        ]);

        $queueUrl = ''; // SQS Queue URL

        try {
            $result = $sqsClient->receiveMessage(array(
                'AttributeNames' => ['SentTimestamp'],
                'MaxNumberOfMessages' => 10,
                'MessageAttributeNames' => ['All', 'MessageDeduplicationId'],
                'QueueUrl' => $queueUrl,
                'WaitTimeSeconds' => 20,
            ));

            $messages = $result->get('Messages');

            if (empty($messages)) {
                $this->log("No messages in queue. \n", "debug");
                return;
            }
            // for messages
            foreach ($messages as $message) {
                var_dump($message);
                $this->log($message, "debug");
                $result = $sqsClient->deleteMessage([
                    'QueueUrl' => $queueUrl, // REQUIRED
                    'ReceiptHandle' => $message['ReceiptHandle'] // REQUIRED
                ]);
            }
        } catch (AwsException $e) {
            // output error message if fails
            error_log($e->getMessage());
        }
    }
}

3-3.検証実行：

２ターミナルで下記のProducerコマンドを同時に実行して、キューにメッセージ送信します。

./bin/cake sqs_producer --bodyContent="Body content 1 "

./bin/cake sqs_producer --bodyContent="Body content 2 "

Consumerコマンドを実行して、メッセージ受信ログでキューにあるメッセージ順序確認する

./bin/cake sqs_consumer

ログは長いで、一部のみ貼り付けます。

ExecuteTimeはメッセージ送信時刻のMilisecondで記録しています。そちらを確認すると、キューから取ってくるメッセージがメッセージ送信順序担保することを確認できます。

4.まとめ

現代のシステムは、負荷分散ためによくMessageQueueの仕組みで活かしてます。
今回はキューサービスの一つで、AWS SQSのFIFOキューを設定、検証するにあたって、AWS SQSのFIFOキューの理解が深くなっております。
今後、チャンスがあれば、負荷分散実装に活用していきたいと思います。

宣伝

次世代システム研究室では、最新のテクノロジーを調査・検証しながらインターネットのいろんなアプリケーションの開発を行うアーキテクトを募集しています。募集職種一覧からご応募をお待ちしています。

グループ研究開発本部の最新情報をTwitterで配信中です。ぜひフォローください。

Follow @GMO_RD

AWS SQSのFIFOキューを検証してみる

はじめに

1.やりたいこと

2.環境構築

2-1.AWS SQSのFIFOキュー設定

2-2.AWS SDK実行環境設定

3.FIFOキュー機能を実検証

3-1.SQS Producerを作成する

3-2.SQS Consumerを作成する

3-3.検証実行：

4.まとめ

宣伝

関連記事

Apache Impala 3.3をビルドして新機能を試す – S3のファイルハンドルキャッシュ

AWSアカウント不要！Sagemaker Studio Labで無料でGPU機械学習お試し環境を手に入れちゃおう！と思ったけど、GPUインスタンスはなかなか起動しないし、諦めてお金を払った方が良い。

AWS ECR になぜか複数のイメージが登録されてしまう。。の原因と対策

AWSでEC2を利用してClusterを作成してみた

最新の記事

採用情報

インターンシップ

インタビュー

AWS SQSのFIFOキューを検証してみる

はじめに

1.やりたいこと

2.環境構築

2-1.AWS SQSのFIFOキュー設定

2-2.AWS SDK実行環境設定

3.FIFOキュー機能を実検証

3-1.SQS Producerを作成する

3-2.SQS Consumerを作成する

3-3.検証実行：

4.まとめ

宣伝

関連記事

Apache Impala 3.3をビルドして新機能を試す – S3のファイルハンドルキャッシュ

AWSアカウント不要！Sagemaker Studio Labで無料でGPU機械学習お試し環境を手に入れちゃおう！と思ったけど、GPUインスタンスはなかなか起動しないし、諦めてお金を払った方が良い。

AWS ECR になぜか複数のイメージが登録されてしまう。。の原因と対策

AWSでEC2を利用してClusterを作成してみた

タグ

最新の記事

採用情報

インターンシップ

インタビュー