Kafkaはどのくらいのデータを処理できますか？
質問者：Gessami Tseiner |最終更新日：2020年3月3日
カテゴリ：本と文学の伝記
1回答。カフカ自体に制限はありません。データがプロデューサーから着信すると、ファイルセグメントでディスクに書き込まれ、これらのセグメントは時間（ログ）に基づいてローテーションされます。
これに関して、Kafkaはいくつのメッセージを処理できますか？Aivenカフカプレミアム-8はUpCloudに毎秒535,000メッセージ、Azureの400,000グーグル33万とAmazon28万メッセージ/秒を処理していました。
また、Kafkaはデータを保存できますか？答えはカフカにデータを格納夢中何もない、何もありません：それはそれを行うために設計されたため、この適しています。 Kafkaのデータはディスクに永続化され、チェックサムされ、フォールトトレランスのために複製されます。より多くの保存データを蓄積しても、データが遅くなることはありません。
このように、Kafkaブローカーはいくつ必要ですか？
Kafka Brokersには、トピックログパーティションが含まれています。 1つのブローカーに接続すると、クライアントがKafkaクラスター全体にブートストラップされます。フェイルオーバーの場合、少なくとも3〜5個のブローカーから開始する必要があります。 Kafkaクラスターは、必要に応じて、クラスター内に10、100 、または1,000のブローカーを持つことができます。
カフカはどれほど速いのですか？
RAMは非常に低いレイテンシを提供するため、ほとんどの従来のデータシステムはデータストアとしてランダムアクセスメモリ（RAM）を使用します。このアプローチはそれらを高速にしますが、RAMのコストはディスクよりはるかに高くなります。 Kafkaは、ストレージとキャッシュをファイルシステムに依存しています。問題は、ディスクがRAMよりも遅いことです。
39関連する質問の回答が見つかりました
カフカのプロデューサーとは何ですか？
Kafkaプロデューサーは、 Kafkaクラスター内のデータのソースとして機能できるアプリケーションです。プロデューサーは、1つ以上のKafkaトピックにメッセージを公開できます。
Kafkaのスループットが高いのはなぜですか？
データ書き込みのもう1つの重要な部分は、 Kafkaがデータを順番にファイルに書き込むことです。つまり、ファイルにランダムにアクセスしたり、ランダムな場所に書き込んだりすることはありません。通常、ディスク内のファイルにランダムにアクセスするのは遅いです。これらの2つのアプローチに基づいて、 Kafkaはデータを書き込むときに高いスループットを実現します。
Kafkaパーティションはどのように機能しますか？
カフカトピックの解剖学
Kafkaトピックは、いくつかのパーティションに分割されています。パーティションを使用すると、特定のトピックのデータを複数のブローカーに分割してトピックを並列化できます。各パーティションを別々のマシンに配置して、複数のコンシューマーがトピックから並列に読み取ることができるようにすることができます。 カフカテクノロジーとは何ですか？
Apache Kafkaは、LinkedInによって開発され、ScalaとJavaで記述されたApache SoftwareFoundationに寄贈されたオープンソースのストリーム処理ソフトウェアプラットフォームです。このプロジェクトは、リアルタイムのデータフィードを処理するための、統合された高スループット、低遅延のプラットフォームを提供することを目的としています。
カフカの長引くMSとは何ですか？
余韻。 ms設定は、より多くのレコードが蓄積されるのを待つための遅延を追加するため、より大きなバッチが送信されます。余韻を増やします。プロデューサーのレイテンシーを犠牲にしてブローカーのスループットを向上させるためのミリ秒。プロデューサーがサイズがバッチであるレコードを取得する場合。ブローカーのリーダーパーティションのサイズ以上の場合、すぐに送信されます。
Kafkaパフォーマンステストをどのように行いますか？
JMeterでの負荷テストApacheKafkaシナリオの構築
- Pepper-Box PlainText Configを追加し、テンプレートを作成します。
- PepperBoxKafkaSamplerを追加します。
- JSR223サンプラーとコンシューマーコードを別のスレッドグループに追加します。
- スクリプトを実行して結果を表示します。
Kafkaのバッチサイズとは何ですか？
バッチ。 sizeは、メッセージ数ではなく、合計バイト数でバッチサイズを測定します。 Kafkaブローカーにメッセージを送信する前に収集するデータのバイト数を制御します。使用可能なメモリを超えないように、これを可能な限り高く設定します。デフォルト値は16384です。
Kafkaはzookeeperなしで実行できますか？
すべての飼育係ブローカが停止した後カフカ0.9は、飼育係せずに実行することができます。 3つのZookeeperノードをすべて強制終了した後も、 Kafkaクラスターは機能し続けます。
Kafkaはメッセージを失う可能性がありますか？
LinuxシステムのKafkaは、メッセージをファイルシステムキャッシュに保存しますが、メッセージがハードドライブに保持されるのを待ちません。これは、レプリカが1つしかない場合またはacks = 1の場合、ブローカーがダウンし、ブローカーがACKを返してもメッセージが失われる可能性があることを意味します。
動物園の飼育係がカフカで倒れた場合はどうなりますか？
たとえば、 ZooKeeperでKafkaデータを失った場合、ブローカーへのレプリカのマッピングとトピック構成も失われ、 Kafkaクラスターが機能しなくなり、データが完全に失われる可能性があります。
KafkaにZookeeperが必要なのはなぜですか？
Kafkaは分散システムであり、 Zookeeperを使用してkafkaクラスターノードのステータスを追跡します。 Zookeeperは、リーダーの検出、構成管理、同期、新しいノードがクラスターに参加またはクラスターから離脱するタイミングの検出など、他の多くの目的を果たすためにも重要な役割を果たします。
KafkaはMQとどう違うのですか？
従来のメッセージングには一般にIBMMQまたはJMSが使用されますが、ストリーミングプラットフォーム（メッセージング+分散ストレージ+データの処理）としてApacheKafkaが使用されます。どちらも異なるユースケース向けに構築されています。 「従来のメッセージング」にはKafkaを使用できますが、 Kafka固有のシナリオにはMQを使用できません。
Kafkaプロデューサーにはzookeeperが必要ですか？
建築。 Kafkaは、さまざまなノード（ブローカーと呼ばれる）でレコードを格納、受信、および送信するという意味で配布されます。ブローカーはプロデューサーからレコードを受け取り、それらにオフセットを割り当て、ディスク上のストレージにコミットします。 Kafkaを実行するには、 Zookeeperが必要です。
カフカはどれくらい速いですか？
データベースやKey-Valueストアなどのデータシステムにランダムアクセスすることに慣れている場合、これは優れたRPCレイヤーが実行できる速度に近いため、通常、1秒あたり約5,000〜50,000クエリの最大スループットが期待されます。リモートリクエスト。
Kafkaの消費者をどのように拡大しますか？
スケールアップできるものは2つあります。Kafkaまたはコンシューマーです。プロデューサーが1つのトピックについてより多くのメッセージを生成する場合は、コンシューマーの数を増やして、同時により多くの作業をカバーできるようにすることができます。水平方向にスケーリングします。
カフカは何に適していますか？
Kafkaは、レコードのストリームのパブリッシュおよびサブスクライブに使用される分散ストリーミングプラットフォームです。 Kafkaは、フォールトトレラントストレージに使用されます。 Kafkaは、トピックログパーティションを複数のサーバーに複製します。 Kafkaは、アプリがレコードの発生時にレコードを処理できるように設計されています。