RDSのmySQLにCSVを一括入力する
AWSのRDSで立ち上げたmySQLサーバーに、大量のデータが入っているCSVファイルを一括で追加するまでの流れをまとめてみたいと思います。今回は踏み台サーバーのEC2にCSVファイルをSCPコマンドで転送し、RDSのmySQLでEC2にあるCSVファイルをLOAD DATA LOCAL INFILEで一括追加してみたいと思います。
AWSのRDSで立ち上げたmySQLサーバーに、大量のデータが入っているCSVファイルを一括で追加するまでの流れをまとめてみたいと思います。今回は踏み台サーバーのEC2にCSVファイルをSCPコマンドで転送し、RDSのmySQLでEC2にあるCSVファイルをLOAD DATA LOCAL INFILEで一括追加してみたいと思います。
EC2からRDSに接続してmySQLを操作したいと思いましたので、構築までの流れを備忘録として残したいと思います。EC2は通常のWebサーバーではなく、mySQLを操作する一時的なサーバー(踏み台サーバー)として立ち上げます。
ローカルにある画像をnode.jsのnode-s3を使ってS3へ画像をアップロードしてみました。とてもシンプルな方法ですが、簡単にまとめてみたいと思います。
S3のイベントをフックして画像処理を走らせたり、RDSのMySQLを操作するLambda Functionを作りたいと思いました。画像アップロートのタイミングでリサイズ画像を生成したり、画像検索データベースを自動で構築してくれたら非常に楽ですよね。