したがって、SparkでCSVファイルをRDDとして読み取るにはどうすればよいですか？

CSVファイルをRDDにロードします

1. val rddFromFile = spark。 sparkContext。
2. val rdd = rddFromFile。 map（f => {f。
3. rdd。 foreach（f => {println（ "Col1：" + f（0）+ "、Col2：" + f（1））}）
4. Col1：col1、Col2：col2 Col1：One、Col2：1 Col1：Eleven、Col2：11。 collect（）を使用してRDDからデータを収集する方法を見てみましょう。
5. rdd。収集（）。
6. val rdd4 =スパーク。 sparkContext。
7. val rdd3 =スパーク。

CSVファイルをHDFSにインポートするにはどうすればよいですか？ CSVファイルをハイブにロードする

1. ステップ1：サンプルCSVファイル。 sample_1という名前のサンプルCSVファイルを作成します。
2. 手順2：CSVをHDFSにコピーします。初期設定のためにシェルで以下のコマンドを実行します。
3. ステップ3：Hiveテーブルを作成してデータをロードします。これで、Hdfsにファイルができました。その上に、外部テーブルを作成するだけです。
4. ステップ4：データを確認します。

同様に、spark Dataframeをcsvファイルに変換するにはどうすればよいですか？

4つの答え

1. データフレームをRDDに変換できます：def convertToReadableString（r：Row）= ??? df。 rdd。
2. Spark <2の場合、databricks spark-csvライブラリを使用できます：Spark 1.4+：df。
3. Spark2を使用。
4. ローカルのPandasデータフレームに変換して、to_csvメソッドを使用できます（PySparkのみ）。

Sparkはローカルファイルを読み取ることができますか？

Sparkはローカルファイルシステムからのファイルのロードをサポートしていますが、クラスター内のすべてのノードでファイルが同じパスで使用可能である必要があります。 NFS、AFS、MapRのNFSレイヤーなど、一部のネットワークファイルシステムは、通常のファイルシステムとしてユーザーに公開されます。