カフカにはいくつのトピックがありますか?

質問者:Malinka Amschel |最終更新日:2020年2月22日
カテゴリ:本と文学の伝記
4.6 / 5 (312ビュー。45投票)
経験則では、 Kafkaトピックの数は数千に達する可能性があります。 Jun Rao( Kafkaコミッター。現在はConfluentにいますが、以前はLinkedInのKafkaチームに所属していました)は次のように書いています。LinkedInでは、最大のクラスターに2,000を超えるトピックがあります。 5Kトピックで十分です

その上、カフカのトピックは何ですか?

トピックとログ最初に、 Kafkaがレコードのストリーム(トピック)に提供するコア抽象化について詳しく見ていきましょう。トピックは、レコードが公開されるカテゴリまたはフィード名です。 Kafkaのトピックは常にマルチサブスクライバーです。つまり、トピックには、書き込まれたデータをサブスクライブする0、1、または多数のコンシューマーが含まれる可能性があります。

同様に、Kafkaブローカーはいくつ必要ですか? Kafka Brokersには、トピックログパーティションが含まれています。 1つのブローカーに接続すると、クライアントがKafkaクラスター全体にブートストラップされます。フェイルオーバーの場合、少なくとも3〜5個のブローカーから開始する必要があります。 Kafkaクラスター、必要に応じて、クラスター内に、 10、100 、または1,000のブローカー持つことができます。

上記のほかに、Kafkaブローカーは複数のトピックを持つことができますか?

Kafkaクラスターは、1つ以上のサーバー( Kafkaブローカー)で構成されます。各ブローカーは1つ以上のトピックを持つことができますKafkaトピックはいくつかのパーティションに分割され、各パーティション単一または個別のマシンに配置して、複数のコンシューマーがトピックから並行して読み取ることできるようにすることできます。

Kafkaにはいくつのクラスターがありますか?

これらすべてのメッセージを処理するために、LinkedInは60を超えるクラスターに編成された1100を超えるKafkaブローカーを実行しています。

39関連する質問の回答が見つかりました

カフカはプッシュまたはプルですか?

カフカの消費者とブローカーからデータを引き出します。他のシステムブローカーは、データをプッシュしたり、データを消費者にストリーミングしたりします。メッセージは通常、プルベースのシステム(SQS、ほとんどのMOM用プル)です。プルベースのシステムでは、データをプルし、それを処理する必要がある、とプルとデータを取得間の休止が常にあります。

ZookeeperなしでKafkaを使用できますか?

他の人が説明しているように、 Kafka (最新バージョンでも)Zookeeperなしでは機能しません。 KafkaZookeeperを次の目的で使用します。コントローラーの選出。コントローラーはブローカーの1つであり、すべてのパーティションのリーダーとフォロワーの関係を維持する責任があります。

カフカは無料ですか?

Kafka自体は完全に無料でオープンソースです。 Confluentは、 Kafkaの作成者による営利会社です。 Confluentプラットフォームは、 Kafkaに加えて、スキーマレジストリやデータベースコネクタなどのさまざまな追加機能です。

Kafkaはデータを保存できますか?

答えはカフカデータを格納夢中何もない、何もありません:それはそれを行うために設計されたため、この適しています。 Kafkaのデータはディスクに永続化され、チェックサムされ、フォールトトレランスのために複製されます。より多くの保存データを蓄積しても、データが遅くなることはありません。

カフカはメッセージを失った可能性がありますか?

LinuxシステムのKafkaはメッセージをファイルシステムキャッシュに保存しますが、メッセージがハードドライブに保持されるのを待ちません。これは、レプリカが1つしかない場合またはacks = 1の場合、ブローカーダウンし、ブローカーACKを返してもメッセージが失われる可能性があることを意味します。

Kafkaはオープンソースですか?

Apache Kafkaは、LinkedInによって開発され、ScalaとJavaで記述されたApache SoftwareFoundationに寄贈されたオープンソースのストリーム処理ソフトウェアプラットフォームです。このプロジェクトは、リアルタイムのデータフィードを処理するための、統合された高スループット、低遅延のプラットフォームを提供することを目的としています。

Kafkaは非同期ですか?

Microservicesでの非同期通信のためのApacheカフカを使用します。マイクロサービスアーキテクチャは、すべてのシステムにとって特効薬ではないかもしれませんが、特に多くの異なるコンポーネントを含む複雑なシステムを構築する場合には、確かにその利点があります。

Kafkaはキューをサポートしていますか?

Kafkaをメッセージキューとして使用します。 Apache Kafkaは非常に人気のあるパブリッシュ/サブスクライブシステムであり、データのストリームを確実に処理するために使用できます。 Kafkaの中心的な概念はトピックであり、クラスター全体に複製して安全なデータストレージを提供できます。個々のメッセージを確認することはできません。

カフカのトピックが多すぎますか?

経験則では、 Kafkaトピックの数は数千に達する可能性があります。 Jun Rao( Kafkaコミッター。現在はConfluentにいますが、以前はLinkedInのKafkaチームに所属していました)は次のように書いています。LinkedInでは、最大のクラスターに2,000を超えるトピックがあります。 5Kトピックで十分です

カフカは何に適していますか?

Kafkaは、レコードのストリームのパブリッシュおよびサブスクライブに使用される分散ストリーミングプラットフォームです。 Kafkaは、フォールトトレラントストレージに使用されます。 Kafkaは、トピックログパーティションを複数のサーバーに複製します。 Kafkaは、アプリがレコードの発生時にレコードを処理できるように設計されています。

Kafka pub subですか?

Kafkaは、非常に高速で信頼性が高く、永続的で、フォールトトレランスがあり、ダウンタイムがゼロの方法で、 Pub - subおよびキューベースのメッセージングシステムを提供します。さらに、プロデューサーはトピックにメッセージを送信し、コンシューマーは希望に応じてメッセージシステムのいずれかを選択できます。

Kafkaサーバーが受信できるメッセージの最大サイズはどれくらいですか?

Kafkaサーバーが受信できるメッセージ最大サイズは1000000バイトです。

Kafka zookeeperとは何ですか?

Kafkaは分散システムであり、 Zookeeperを使用してkafkaクラスターノードのステータスを追跡します。 Zookeeperは、リーダーの検出、構成管理、同期、新しいノードがクラスターに参加またはクラスターから離脱するタイミングの検出など、他の多くの目的を果たすためにも重要な役割を果たします。

カフカキューとは何ですか?

Apache Kafkaは、1日に何兆ものイベントを処理できるコミュニティ分散イベントストリーミングプラットフォームです。当初はメッセージングキューとして考えられていたKafkaは、分散コミットログの抽象化に基づいています。

Kafkaはメッセージブローカーですか?

Kafkaは、高入力のデータ再生とストリーム用に開発されたメッセージバスです。 Kafkaは、アプリケーションがストリーミングされたデータを処理、永続化、および再処理できるようにする耐久性のあるメッセージブローカーです。 Kafkaには、ルーティングキーを使用してトピックにメッセージを送信する単純なルーティングアプローチがあります。

カフカはどのように機能しますか?

それがどのように動作しますか?アプリケーション(プロデューサー)はメッセージ(レコード)をKafkaノード(ブローカー)に送信し、そのメッセージはコンシューマーと呼ばれる他のアプリケーションによって処理されます。上記のメッセージはトピックに保存され、コンシューマーはトピックにサブスクライブして新しいメッセージを受信します。

Kafkaのブートストラップサーバーとは何ですか?

ブートストラップサーバーは、 Kafkaクラスターへの初期接続を確立するために使用するホスト/ポートペアのリストです。これらのサーバーは、完全なクラスターメンバーシップを検出するための初期接続にのみ使用されます。