正確に一度のセマンティクスとは何ですか？
質問者：Josua Detlefsen |最終更新日：2020年1月8日
カテゴリ：本と文学の伝記
「正確に1回」の処理セマンティクスを提供するということは、実際には、ストリーム処理エンジンによって管理されるオペレーターの状態に対する個別の更新が1回だけ反映されることを意味します。 「正確に1回」は、イベントの処理、つまり任意のユーザー定義ロジックの実行が1回だけ発生することを保証するものではありません。
同様に、人々は尋ねます、正確に一度の配達は何ですか？
プロデューサーは、プロデューサートランザクションがコミットした場合に1回だけ送信します。ブローカーは、コンシューマートランザクションがコミットするまでメッセージを保持して配信します。コンシューマートランザクションがコミットした場合にのみ、メッセージはブローカーから削除されます。
また、1回限りのメッセージ配信セマンティクスで正しいのは次のうちどれですか？正確に1回のセマンティクス：プロデューサーがメッセージの送信を再試行した場合でも、メッセージはエンドコンシューマーに1回だけ配信されます。正確に-一度セマンティクスが最も望ましい保証ですが、よく理解されていないものでもあります。
カフカは一度だけですか？
当初、 Kafkaは最大で1回および少なくとも1回のメッセージ配信のみをサポートしていました。ただし、 Kafkaブローカーとクライアントアプリケーション間のトランザクションの導入により、 Kafkaでの配信が1回だけ確実に行われます。
少なくとも1回の配達とは何ですか？
パート1で詳細に説明したように、最大1回のメッセージ配信アプローチでは、送信者から受信者にメッセージを送信するときに、特定のメッセージが配信される保証はありません。特定のメッセージは一度配信される場合と、まったく配信されない場合があります。
29関連する質問の回答が見つかりました
Kafkaは配達を保証しますか？
現在、 Kafkaは「少なくとも1回」の配信保証を提供しています。これは、各レコードが1回配信される可能性が高いためですが、失敗した場合はデータが複製される可能性があります。レコードのバッチでの処理は、 Kafkaでも利用できます。
カフカオフセットとは何ですか？
オフセットは、 Kafkaが消費者の現在の位置を維持するために使用する単純な整数です。それでおしまい。現在のオフセットは、 Kafkaが最新の投票ですでに消費者に送信した最後のレコードへのポインターです。したがって、現在のオフセットのために、コンシューマーは同じレコードを2回取得しません。
カフカはメッセージを失った可能性がありますか？
LinuxシステムのKafkaは、メッセージをファイルシステムキャッシュに保存しますが、メッセージがハードドライブに保持されるのを待ちません。これは、レプリカが1つしかない場合またはacks = 1の場合、ブローカーがダウンし、ブローカーがACKを返してもメッセージが失われる可能性があることを意味します。
KafkaはRocksDBを使用していますか？
概念的には、 Kafka StreamsはRocksDBを必要としません。これは、内部のKey-Valueキャッシュとして使用され、同様の機能を提供する他のストアも機能します。 Kafka Streams Processor APIを使用すると、StateStoreインターフェイスを介して独自のストアを実装し、トポロジ内のプロセッサノードに接続できます。
Kafkaをどのように実装しますか？
クイックスタート
- ステップ1：コードをダウンロードします。 2.4をダウンロードします。
- 手順2：サーバーを起動します。
- ステップ3：トピックを作成します。
- ステップ4：いくつかのメッセージを送信します。
- ステップ5：コンシューマーを開始します。
- 手順6：マルチブローカークラスターを設定します。
- ステップ7：KafkaConnectを使用してデータをインポート/エクスポートします。
- ステップ8：KafkaStreamsを使用してデータを処理します。
カフカは信頼できますか？
Kafkaの高い信頼性は、その堅牢なレプリケーション戦略によって保証されています。 Kafkaの複製原理と同期方法を説明することで、マクロレベルのKafkaの概念を探求できるようになりました。
KafkaはJMSをサポートしていますか？
Kafkaは、パフォーマンスに重点が置かれているため、 ActiveMQよりも機能が少なくなっています。したがって、移行する前に、AMQで使用する機能がKafkaにあることを確認してください。いいえ、 Kafkaは独自の非標準プロトコルとクライアントを使用しています。ただし、ConfluentのKafka用のサードパーティJMSクライアントがあります。
作成後にメッセージオフセットを取得することは可能ですか？
生成後にメッセージオフセットを取得することは可能ですか？ほとんどのキューシステムのようにプロデューサーとして動作するクラスからはそれを行うことはできません。その役割は、メッセージを起動して忘れることです。ブローカーは、ID、オフセットなどを使用した適切なメタデータ処理などの残りの作業を行います。
カフカに一度だけ行くにはどうすればいいですか？
これを使用して、Kafkaの上に1回だけセマンティクスを取得するための2つの一般的なアプローチがあります。
- 派生状態と同じDBにオフセットを格納し、トランザクションで両方を更新します。
- べき等な方法で、状態の更新とオフセットの両方を一緒に書き込みます。
カフカはどのように機能しますか？
それがどのように動作しますか？アプリケーション（プロデューサー）はメッセージ（レコード）をKafkaノード（ブローカー）に送信し、そのメッセージはコンシューマーと呼ばれる他のアプリケーションによって処理されます。上記のメッセージはトピックに保存され、コンシューマーはトピックにサブスクライブして新しいメッセージを受信します。
Kafkaメッセージとは何ですか？
メッセージングシステムを使用すると、プロセス、アプリケーション、およびサーバー間でメッセージを送信できます。 Apache Kafkaは、アプリケーションがデータ（メッセージ）を追加、処理、および再処理できる場所にトピックを定義できる（トピックをカテゴリと考える）ことができるソフトウェアです。
Kafkaはトランザクションですか？
トランザクションメッセージを読む
Kafkaコンシューマーは、トランザクションが実際にコミットされた場合にのみ、トランザクションメッセージをアプリケーションに配信します。つまり、 Kafkaは、コンシューマーが最終的に非トランザクションメッセージまたはコミットされたトランザクションメッセージのみを配信することを保証します。 Kafkaのパーティションとは何ですか？
カフカトピックの解剖学
Kafkaトピックは、いくつかのパーティションに分割されています。パーティションを使用すると、特定のトピックのデータを複数のブローカーに分割してトピックを並列化できます。各パーティションを別々のマシンに配置して、複数のコンシューマーがトピックから並列に読み取ることができるようにすることができます。 Kafkaで重複メッセージを停止するにはどうすればよいですか？
Kafkaから正確に1回だけメッセージを受け取るにはどうすればよいですか？
- パーティションごとにシングルライターを使用し、ネットワークエラーが発生するたびに、そのパーティションの最後のメッセージをチェックして、最後の書き込みが成功したかどうかを確認します。
- メッセージに主キー（UUIDなど）を含め、コンシューマーで重複排除します。
カフカでオフセットを維持しているのは誰ですか？
1回答。具体的には、「__ consumer_offsets」と呼ばれる「内部」コンシューマーオフセットトピックにそれらを格納します。 「古いコンシューマー」API（今後のv0。11では非推奨）を使用すると、オフセットをkafkaまたはzookeeperに保存することを選択できます。
カフカを設立したのは誰ですか？
コンフルエントはKrepsと彼の共同創設者、ネハNarkhedeと6月ラオは、作成して開発したオープンソースのApacheカフカリアルタイムメッセージング技術を中心とします。