PrivateLink を使用した Private または Shield Space 内の Apache Kafka on Heroku への接続

最終更新日 2022年12月12日(月)

この記事では、AWS PrivateLink​ を使用して、AWS VPC と、Private Space​ または Shield Private Space​ にプロビジョニングされた Apache Kafka on Heroku アドオンの間の安全な接続を作成する方法について説明します。このプロセスは、大きく分けて 3 つの手順で構成されます。

  1. Private Space または Shield Private Space で実行されている Apache Kafka on Heroku アドオンでエンドポイントサービスを作成する
  2. エンドポイントネットワークインターフェースを AWS VPC に作成する
  3. 2 つのエンドポイント間に安全な接続を確立する

接続の設定の一部として、VPC から Kafka アドオンへのアクセスを制限するための承認されたアカウントの一覧を指定できます。

この機能を使用するには、作成する Amazon VPC エンドポイントが、Apache Kafka on Heroku アドオンと同じリージョンにあるサブネットにプロビジョニングされている必要があります。

Heroku の前提条件

PrivateLink エンドポイントを設定するには、次の Heroku リソースが必要です。

  • Private Space。この記事​で、Heroku Dashboard または Heroku CLI を使用して Private Space を作成する方法を説明しています。

  • Shield Private Space。この記事​で、Heroku Dashboard または Heroku CLI を使用して Shield Private Space を作成する方法を説明しています。

  • Apache Kafka on Heroku アドオンがアタッチされた、Private Space または Shield Private Space で実行されている Heroku アプリ。Private Space または Shield Private Space で実行されている Apache Kafka on Heroku インスタンスはすべて、それぞれ private​ または shield​ プランタイプのいずれかを使用します。

Heroku エンドポイントのプロビジョニング

$ heroku plugins:install data-privatelink

手順 2: AWS アカウント ID を取得する

AWS アカウント ID は、次のように AWS CLI を使用して取得できます。

$ aws sts get-caller-identity --output text --query 'Account'

123456789101

このコマンド例では、アカウント ID 123456789101​ が返されています。

アカウント ID は、AWS アカウントの My Account​ (マイアカウント) ページから取得することもできます。アカウント ID​ は、Account Settings​ (アカウント設定) セクションに表示されます。

サンプル AWS アカウントの 「My Account」 (マイアカウント) ウィンドウのスクリーンキャプチャ

次の Heroku CLI コマンドを使用して、PrivateLink エンドポイントを作成します (値の置き換えに注意してください)。

$ heroku data:privatelink:create KAKFA_ADDON_NAME --aws-account-id ACCOUNT_ID --app APP_NAME
  • KAKFA_ADDON_NAME​ は、Kafka アドオンの名前に置き換えます (例: ​kafka-sushi-12345​)。
  • APP_NAME​ を自分のアプリ名に置き換えます。
  • ACCOUNT_ID​ は、Kafka アドオンへのアクセスを受け取る AWS アカウントに置き換えます。次のいずれかのパターンに一致する ID を指定してください。
    • account-id
    • account-id​:user/username
    • account-id​:role/rolename

--aws-account-id​ フラグを複数回指定して、複数のアカウントを含めることができます。

次に示すのは、コマンドとそれに伴う出力の例です。

$ heroku data:privatelink:create kafka-sushi-12345 --aws-account-id 123456789101:user/abc.xyz --app privatelink-vpc-endpoint-demo
Creating privatelink... done

Service Name: Provisioning
Status:       Provisioning

The privatelink is now being provisioned for kafka-sushi-12345.
Run heroku data:privatelink:wait KAFKA_URL -a APP to check the creation process.

新しい PrivateLink エンドポイントが利用可能になるまで、通常 5 ～ 10 分かかります。heroku data:privatelink:wait KAFKA_URL --app APP_NAME​ で進捗状況を追跡できます。

手順 4: エンドポイントのサービス名を取得する

PrivateLink エンドポイントのプロビジョニングが終了したら、次のコマンドを使用してその詳細を表示します。

$ heroku data:privatelink KAKFA_ADDON_NAME --app APP_NAME

KAFKA_ADDON_NAME​ を Kafka アドオンの名前に置き換え、APP_NAME​ をアプリの名前に置き換えます。

次に示すのは、コマンドとそれに伴う出力の例です。

$ heroku data:privatelink kafka-sushi-12345 --app privatelink-vpc-endpoint-demo
=== privatelinks for kafka-sushi-12345
Service Name:         com.amazonaws.vpce.us-east-1.vpce-svc-0410a2e25933fe8ec
Status:               Operational

=== Allowed Accounts
ARN                                    Status
arn:aws:iam::123456789101:user/abc.xyz Active

Your privatelink is now operational.
You must now copy the Service Name and follow the rest of the steps listed in https://devcenter.heroku.com/articles/heroku-kafka-via-privatelink.

コマンドの出力から Service Name​ フィールドの値をコピーします (上記の例では、値は com.amazonaws.vpce.us-east-1.vpce-svc-0410a2e25933fe8ec​)。この値は、Amazon VPC エンドポイントをプロビジョニング​するために必要になります。

Amazon VPC エンドポイントのプロビジョニング

このセクションの手順は、Amazon VPC ダッシュボードから実行します。

手順 1: セキュリティグループを作成して設定する

エンドポイントには、適切な ingress セキュリティルールが設定されたセキュリティグループが必要です。VPC ダッシュボードの 「Security Groups」 (セキュリティグループ) タブで Create security group​ (セキュリティグループの作成) をクリックします。

AWS コンソールの 「Create security group」 (セキュリティグループの作成) ウィンドウを示すスクリーンキャプチャ

適切なセキュリティグループ名と説明を指定し、目的の VPC を選択してから Create​ (作成) をクリックします。

AWS コンソールで編集されているセキュリティグループ名と説明を示すスクリーンキャプチャ

一覧から新しく作成されたセキュリティグループを選択し、Actions > Edit inbound rules​ (アクション> インバウンドルールの編集) をクリックします。

選択されているセキュリティグループを示すスクリーンキャプチャ

すべての有効な IP アドレスからポート 10000–11000​ への TCP アクセスを有効にして、Save rules​ (ルールの保存) をクリックします。

手順 2: エンドポイントを作成する

VPC ダッシュボードの 「Endpoints」 (エンドポイント) タブに移動し、Create Endpoint​ (エンドポイントの作成) をクリックします。

AWS コンソールの 「Create Endpoint」 (エンドポイントの作成) ウィンドウを示すスクリーンキャプチャ

表示された 「Create Endpoint」 (エンドポイントの作成) フォームで、Find service by name​ (サービスを名前で検索) オプションを選択して、以前に取得​した Service Name​ の値を貼り付けます。

次に、Verify​ (確認) をクリックして、使用可能なサブネットの一覧を表示します。

作成されているエンドポイントを示すスクリーンキャプチャ

以前に作成したセキュリティグループを VPC エンドポイントにアタッチして Create endpoint​ (エンドポイントの作成) をクリックします。

アタッチされているセキュリティグループ

エンドポイントは pending acceptance​ の初期ステータスで作成され、5 ～ 10 分後に available​ に遷移します。

利用可能な状態の VPC エンドポイント

Heroku と Amazon VPC エンドポイントの接続

Amazon VPC エンドポイントが available​ になったら、VPC が Apache Kafka on Heroku アドオンと通信できるようにするための URL を取得できます。

まず、PrivateLink エンドポイントのエンドポイント ID​ を取得し、その末尾の 17 文字の文字列を抽出します。この文字列を大文字に変換して​、下記のコマンドで使用します。

たとえば、エンドポイント ID が vpce-01c87ae3c05563935​ である場合、このエンドポイント ID は 01C87AE3C05563935​ になります。

取得した文字列でプレースホルダーを置き換えて、次のコマンドを実行します。

$ heroku config --app your_app_name | grep ENDPOINT_ID_HERE

このコマンドは、AWS VPC エンドポイントの接続 URL と、Kafka アドオンの対応する接続文字列を表示します。接続文字列は次の形式です。

kafka+ssl://vpc-endpoint-dns-name:10001,kafka+ssl://vpc-endpoint-dns-name:10002,kafka+ssl://vpc-endpoint-dns-name:10003

これで、この接続文字列を使用して、AWS VPC 内のアプリケーションを Apache Kafka on Heroku アドオンに接続できるようになりました。次に示すのは、コマンドとそれに伴う出力の例です。

$ heroku config --app privatelink-vpc-endpoint-demo | grep 01C87AE3C05563935

KAFKA_ENDPOINT_01C87AE3C05563935_URL:  kafka+ssl://vpc-endpoint-dns-name:10001,kafka+ssl://vpc-endpoint-dns-name:10002,kafka+ssl://vpc-endpoint-dns-name:10003

この機能の使用に関して問題または気になる点がある場合は、サポートチケット​を開いてください。

制限

  • 作成する Amazon VPC エンドポイントは、Apache Kafka on Heroku アドオンと同じリージョンにあるサブネットにプロビジョニングされている必要があります。
  • ユーザー独自の VPC と Heroku Data VPC の間で共通のアベイラビリティ―ゾーン内の Kafka アドオンにしか接続できません。
  • Apache Kafka on Heroku アドオンへの完全に安全なアクセスを確保するために VPC のセキュリティを確認することはユーザーの責任です。