Kafkaはどのようにスケーリングしますか？
質問者：Yanzhen Zak |最終更新日：2020年4月14日
カテゴリ：本と文学の伝記
Kafkaでは、各パーティションでのみFIFOを取得します。言い換えれば、 Kafkaはパーティションごとの注文のみを保証します。 Kafkaをスケーリングする方法は、パーティションを追加することです。その後、各パーティションからのメッセージを並行して処理できます。ウサギはその領域でより制約されており、作業をそれほど簡単に（またはまったく）並列化することはできません。
また、Kafkaの消費者をどのように拡大しますか？スケールアップできるものは2つあります。Kafkaまたはコンシューマーです。プロデューサーが1つのトピックについてより多くのメッセージを生成する場合は、コンシューマーの数を増やして、同時により多くの作業をカバーできるようにすることができます。水平方向にスケーリングします。
また、なぜKafkaがスケーラブルなのかと疑問に思うかもしれません。前述のように、 Kafkaを使用する主な利点の1つは、拡張性が高いことです。ノードに障害が発生した場合、 Kafkaは迅速かつ自動のリカバリを可能にします。現在、大量のリアルタイムデータを処理している世界では、この機能により、 Kafkaはデータ通信と統合のための手に負えない選択肢になります。
続いて、Kafkaはどのようにスケーラブルであるかという質問もあります。
Kafkaは、コンシューマーグループを実装して処理の規模、複数のドメインのサポート、およびメッセージの信頼性を実現することにより、パブリッシュ/サブスクライブモデルの疎結合アーキテクチャを備えたメッセージキューでの処理の規模をもたらします。
カフカはどのように機能しますか？
アプリケーション（プロデューサー）はメッセージ（レコード）をKafkaノード（ブローカー）に送信し、そのメッセージはコンシューマーと呼ばれる他のアプリケーションによって処理されます。上記のメッセージはトピックに保存され、コンシューマーはトピックにサブスクライブして新しいメッセージを受信します。
37関連する質問の回答が見つかりました
Kafkaオフセットはどのように機能しますか？
オフセットは、 Kafkaが消費者の現在の位置を維持するために使用する単純な整数です。それでおしまい。現在のオフセットは、 Kafkaが最新の投票ですでに消費者に送信した最後のレコードへのポインターです。したがって、現在のオフセットのために、コンシューマーは同じレコードを2回取得しません。
Kafkaは複数の消費者を持つことができますか？
Kafkaの消費者は通常、消費者グループの一部です。複数のコンシューマーがトピックにサブスクライブされ、同じコンシューマーグループに属している場合、グループ内の各コンシューマーは、トピック内のパーティションの異なるサブセットからメッセージを受信します。
Kafkaのリバランスはどのように機能しますか？
リバランスは、（同じグループに属する）コンシューマーインスタンスのグループが、グループがサブスクライブしているトピックの相互に排他的なパーティションのセットを所有するように調整するプロセスです。
カフカは何人の消費者を持つことができますか？
1回答。理想的な式は、パーティションの数=コンシューマ・グループの消費者の数。 50個のパーティションを持つトピックtに10個のコンシューマーのコンシューマーグループがあるとすると、 （最初は）10個のパーティションのみの消費が開始されます。
カフカの消費者グループとは何ですか？
カフカ消費者レビュー
コンシューマ・グループは、Hadoopのにデータを置くか、サービスにメッセージを送信するように、タスクを実行し、関連する消費者のグループです。コンシューマーグループには、パーティションごとに一意のオフセットがあります。さまざまなコンシューマーグループが、パーティション内のさまざまな場所から読み取ることができます。 Kafkaクラスターとは何ですか？
カフカクラスタはカフカを実行している1つ以上のサーバー（カフカブローカー）、から成ります。プロデューサーは、ブローカー内のKafkaトピックにデータ（プッシュメッセージ）を公開するプロセスです。トピックのコンシューマーは、 Kafkaトピックからメッセージを引き出します。
KafkaのクライアントIDとは何ですか？
クライアント。 idプロパティ
リクエストごとにKafkaブローカーに渡されるKafkaコンシューマー（コンシューマーグループ内）のオプションの識別子。 Kafkaのどの概念がスケール処理とマルチサブスクリプションに役立ちますか？
パブリッシュ/サブスクライブと同様に、 Kafkaでは複数のコンシューマーグループにメッセージをブロードキャストできます。 Kafkaのモデルの利点は、すべてのトピックにこれらの両方のプロパティがあり、処理をスケーリングでき、マルチサブスクライバーでもあることです。どちらかを選択する必要がありません。
Kafkaはデータを保存しますか？
答えはカフカにデータを格納夢中何もない、何もありません：それはそれを行うために設計されたため、この適しています。 Kafkaのデータはディスクに永続化され、チェックサムされ、フォールトトレランスのために複製されます。より多くの保存データを蓄積しても、データが遅くなることはありません。
Kafkaはデータベースですか？
論争の的となる質問を調べてみましょう： Kafkaはデータベースですか？ある意味では、そうです。すべてをディスクに書き込み、耐久性を確保するために複数のマシン間でデータを複製します。他の方法では、いいえ：トピック内のメッセージをサブスクライブする以外に、データモデル、インデックス、データをクエリする方法はありません。
Kafkaは内部でどのように機能しますか？
Kafkaは圧縮されたメッセージをまとめます
圧縮されたメッセージを送信するプロデューサーは、バッチを一緒に圧縮し、ラップされたメッセージのペイロードとして送信します。また、以前と同様に、ディスク上のデータは、ブローカーがネットワークを介してプロデューサーから受信し、コンシューマーに送信するデータとまったく同じです。 Kafkaはどのくらいの期間データを保存しますか？
たとえば、保持ポリシーが2日間に設定されている場合、レコードが公開されてから2日間は消費可能になり、その後は破棄されてスペースが解放されます。メッセージはトピックに3分間残ります。
Kafkaはメッセージキューですか？
Kafkaは、Linkedinの人々によって最初に開発されたテクノロジーの一部です。一言で言えば、これは、pub / subのサポート、多数のサーバーでのスケールアウト、およびメッセージの再生を可能にするいくつかの工夫を加えたメッセージキューイングシステムのようなものです。
Kafkaデータはどこに保存されますか？
要約
- Kafkaのデータはトピックに保存されます。
- トピックは分割されています。
- 各パーティションはさらにセグメントに分割されます。
- 各セグメントには、実際のメッセージを格納するためのログファイルと、ログファイル内のメッセージの位置を格納するためのインデックスファイルがあります。
なぜカフカが必要なのですか？
Kafkaは、アプリがレコードの発生時にレコードを処理できるように設計されています。 Kafkaは高速で、レコードをバッチ処理および圧縮することでIOを効率的に使用します。 Kafkaは、データストリームを分離するために使用されます。 Kafkaは、データレイク、アプリケーション、およびリアルタイムストリーム分析システムにデータをストリーミングするために使用されます。
なぜカフカを使うのですか？
カフカ）がビッグデータを収集したり、リアルタイム分析、またはその両方を行うために使用されるデータのリアルタイムストリームのために使用されています。 Kafkaは、耐久性を提供するためにインメモリマイクロサービスで使用され、CEP（複雑なイベントストリーミングシステム）およびIOT / IFTTTスタイルの自動化システムにイベントをフィードするために使用できます。
Kafkaをどのように実装しますか？
クイックスタート
- ステップ1：コードをダウンロードします。
- 手順2：サーバーを起動します。
- ステップ3：トピックを作成します。
- ステップ4：いくつかのメッセージを送信します。
- ステップ5：コンシューマーを開始します。
- 手順6：マルチブローカークラスターを設定します。
- ステップ7：KafkaConnectを使用してデータをインポート/エクスポートします。
- ステップ8：KafkaStreamsを使用してデータを処理します。