Fabricテナントには、Lakehouse1という名前の湖畔の家が含まれています。Lakehouse1には、Nyctaxi_rawという名前のテーブルが含まれています。Nyctaxi_rawには、次の列が含まれています。

Fabricノートブックを作成し、lakehouse1に添付します。
データの変換にはPySparkコードを使用する必要があります。ソリューションは以下の要件を満たす必要があります。
* pickupDateTime の日付部分のみを含む pickupDate という名前の列を追加します。
* データフレームをフィルタリングして、fareAmountが100未満の正の数である行のみを含めるようにします。
コードを完成させるにはどうすればよいでしょうか?回答欄で適切な選択肢を選んでください。注:正解ごとに1ポイントが加算されます。

正解:

Explanation:

* pickupDate列を追加します: .withColumn("pickupDate", df["pickupDateTime"].cast("date"))
* データフレームをフィルタリングします: .filter("fareAmount > 0 AND fareAmount < 100")
PySparkでは、.withColumnメソッドを使用してDataFrameに新しい列を追加できます。このメソッドの最初の引数は新しい列名、2番目の引数は新しい列の内容を生成する式です。ここでは、.cast("date")関数を使用して、タイムスタンプから日付部分のみを抽出します。DataFrameをフィルタリングするには、.filterメソッドを使用し、fareAmountが0より大きく100より小さい行を選択する条件を指定します。これにより、100未満の正の値のみが含まれるようになります。