スパークの狭い変換とは何ですか？
質問者：ウィルフリド・コラー|最終更新日：2020年6月24日
カテゴリ：テクノロジーおよびコンピューティングデータベース
狭い変換：
狭い変換は、マップ、フィルターの結果であり、どのデータが変換されるかを示します。単一のパーティションからのIDのみ、つまり自立型です。出力RDDには、から発生したレコードを持つパーティションがあります。親RDDの単一パーティション。結果の計算には、パーティションの限定されたサブセットが使用されます。狭い変換は、map（）、filter（）の結果です。広い変換–広い変換では、単一のパーティションのレコードを計算するために必要なすべての要素が、親RDDの多くのパーティションに存在する場合があります。
また、スパークアクションとは何ですか？アクションはRDDの操作であり、その値はスパードライバープログラムに戻り、クラスターで実行するジョブを開始します。変換の出力は、アクションの入力です。収集、削減、takeSample、まず、取る、saveAsTextfile、saveAsSequenceFile、countByKey、Apacheのスパークでの一般的なアクションですforeachの。
これに関して、スパークの変換とは何ですか？
RDD操作をスパーク。 Apache Spark RDD操作には、変換とアクションの2種類があります。変換は、既存のRDDから新しいRDDを生成する関数ですが、実際のデータセットを操作する場合は、その時点でアクションが実行されます。
reduceByKeyとgroupByKeyの違いは何ですか？
groupByKey （）は、キーに基づいてデータセットをグループ化するためのものです。 RDDがまだパーティション化されていない場合、データシャッフルが発生します。 reduceByKey （）は、グループ化+集約のようなものです。 AggregateByKey（）はreduceByKey （）と論理的に同じですが、異なるタイプの結果を返すことができます。
34関連する質問の回答が見つかりました
狭い変換と広い変換とは何ですか？
変換には2つのタイプがあります。狭い変換はmap（）、filter（）の結果です。ワイド変換—ワイド変換では、単一のパーティションのレコードを計算するために必要なすべての要素が、親RDDの多くのパーティションに存在する場合があります。
collect（）はsparkで何をしますか？
収集（機能）
collectは、データセットの要素を配列としてドライバープログラムに返します。 collectは、戻り値を表示するために、 Spark変換の例などの以前に提供された例でよく使用されます。たとえば、REPLは、配列の値をコンソールに出力します。 狭い変換とは何ですか？
狭い変換：
狭い変換は、マップ、フィルターの結果であり、どのデータが変換されるかを示します。単一のパーティションからのIDのみ、つまり自立型です。出力RDDには、から発生したレコードを持つパーティションがあります。親RDDの単一パーティション。 Sparkジョブを調整するにはどうすればよいですか？
次のセクションでは、一般的なSparkジョブの最適化と推奨事項について説明します。
- データの抽象化を選択します。
- 最適なデータ形式を使用してください。
- デフォルトのストレージを選択します。
- キャッシュを使用します。
- メモリを効率的に使用します。
- データのシリアル化を最適化します。
- バケットを使用します。
- 結合とシャッフルを最適化します。
SparkでRDDを作成する方法はどれですか？
SparkでRDDを作成する方法は3つあります。
- ドライバプログラムの既存のコレクションを並列化します。
- 外部ストレージシステム（HDFS、Hbase、共有ファイルシステムなど）のデータセットを参照する。
- 既存のRDDからRDDを作成します。
Sparkでサポートされていない言語はどれですか？
Apache SparkはScalaで書かれているため、多くの人が開発にScalaを使用しています。それとは別に、Sparkには他の2つの一般的な言語であるJavaとPythonのAPIもあります。
RDDとは何ですか？
復元力のある分散データセット（ RDD ）は、Sparkの基本的なデータ構造です。これは、オブジェクトの不変の分散コレクションです。 RDDは、安定したストレージ上のデータまたは他のRDDのいずれかに対する決定論的操作によって作成できます。 RDDは、並行して操作できるフォールトトレラントな要素のコレクションです。
ダグスパークとは何ですか？
（有向非巡回グラフ）Apache SparkのDAGは、頂点とエッジのセットです。頂点はRDDを表し、エッジはRDDに適用される操作を表します。 Spark DAGでは、すべてのエッジがシーケンスの前から後へと方向付けられます。
MAPとflatMapの違いは何ですか？
map （）とflatMap （）はどちらも、Stream <T>の各要素に適用されるマッピング関数を取り、Stream <R>を返します。唯一の違いは、flatMapの場合、（）内のマッピング関数は、各入力要素のための単一の値を生成する）（マップのに対し、新しい値のストリームを生成することです。
なぜRDDは不変なのですか？
基本的に、 RDDは不変であるだけでなく、入力の決定論的関数でもあります。つまり、 RDDはいつでも再作成できます。キャッシュ、共有、レプリケーションの利点を活用するのに役立ちます。これは実際にはデータのコレクションではなく、他のデータからデータを作成する方法でもあります。
Sparkステージとは何ですか？
Sparkのステージとは何ですか？ステージは、物理的な実行計画のステップに他なりません。これは、実行計画の物理的な単位です。これは、並列タスクのセット、つまりパーティションごとに1つのタスクです。つまり、タスクの小さなセットに分割される各ジョブはステージです。
SparkでreduceByKeyをどのように使用しますか？
Spark RDD reduceByKey関数は、連想reduce関数を使用して各キーの値をマージします。基本的に、 reduceByKey関数は、キーと値のペアの種類の要素を含むRDD（つまり、データ要素としてタプルまたはマップを持つRDD）に対してのみ機能します。
Sparkフィルターをどのように使用しますか？
Spark RDDにフィルターを適用するには、
- RDDに適用するフィルター関数を作成します。
- RDD <T>を使用します。 filter関数が引数として渡されたfilter（）メソッド。 filter（）メソッドは、提供された関数に従ってフィルタリングされた要素を含むRDD <T>を返します。
RDD PySparkとは何ですか？
RDDはResilientDistributed Datasetの略で、クラスター上で並列処理を行うために複数のノードで実行および動作する要素です。 RDDは不変の要素です。つまり、 RDDを作成すると、それを変更することはできません。
Sparkパーティションマップとは何ですか？
mapPartitionsは、ソースRDDの各パーティションを結果の複数の要素に変換します（場合によってはなし）。どちらも、flatMapは（ mapとして）単一の要素で機能し、（mapPartitionsとして）結果の複数の要素を生成します。
SCはSparkで並列化するものとは何ですか？
sc 。 parallelize （）メソッドは、並列化されたコレクションを作成するためのSparkContextの並列化メソッドです。これにより、 Sparkは、データを処理するために単一のノードに依存するのではなく、複数のノードにデータを分散できます。
遅延評価はSparkでどのように機能しますか？
スパークは、彼らが到着すると、各変換を評価し、代わりにそれらを一緒にキューに入れ、アクションが呼び出されるように、全て一度に評価されないこと怠惰な評価手段。このアプローチの利点は、全体的にDAGを見にチャンスがあった後にスパークが最適化の意思決定を行うことができるということです。