Anaconda設定とデータ集め
Anaconda Navigator に新しい環境を追加した。
・tensorflow
GPU機能を使わない tensorflow をインストール
・tensorflow-GPU
GPU機能付きのtensorflow をインストール
続いて、公開されている以下のデータを収集。
1) 101料理データ
https://www.vision.ee.ethz.ch/datasets_extra/food-101/
2) 犬猫データ
https://www.kaggle.com/c/dogs-vs-cats/data/ (kaggleサイトでユーザ登録が必要)
3) 102花データ
http://www.robots.ox.ac.uk/~vgg/data/bicos/
1)、2) は種類ごとにフォルダ分けが簡単にできたが、3)は少々やっかいだった。カテゴリ名(花の名前)と枚数の情報は以下にあるが、実際の画像ファイルは、1フォルダの中に全カテゴリを通じて images_0XXXX.jpg の連番で配置されている状態。ファイル名とカテゴリ名の関係が分からず、フォルダ分けが無理っぽい。色々調べると、ダウンロードした一式の中にあるMATLABファイル imagelabels.mat にラベル情報が入っているらしい。
http://www.robots.ox.ac.uk/~vgg/data/flowers/102/categories.html
また、ラベル情報と花の名前の関係・順番は、以下と推測した。
https://github.com/Arsey/keras-transfer-learning-for-oxford102/blob/master/class_labels.py
targets=[
'pink_primrose', // ラベル番号 0
'hard-leaved_pocket_orchid', // ラベル番号 1
'canterbury_bells', // ラベル番号 2
'sweet_pea', // ラベル番号 3
'english_marigold', // ラベル番号 4
...
} ;
imagelabels.mat を以下のような csvファイルに変換し、それと上の構造体をもとにフォルダ分けを実施。一寸面倒くさかった。
0,image_00001.jpg,77 // 77がラベル番号
1,image_00002.jpg,77 // 77がラベル番号
2,image_00003.jpg,77 // 77がラベル番号
...
500,image_00501.jpg,88 // 88がラベル番号
...
これで、3つのデータベースについてフォルダ分けが完了。それぞれ以下のように配置した。詳細は、実際の学習、検証する際に記述する。
¥20190201_foods
¥train
¥valid
¥20190201_dogcat
¥train
¥valid
¥20190201_flowers
¥train
¥valid
※参考サイト(感謝いたします)
https://blog.hayashikun.com/entry/2018/05/12/131711
PC環境設定5
これで、PCに以下の開発ツール、ドライバがインストールされた。
1) Docker ☒ インストール済
2) Anaconda ☒ インストール済
3) Visual Studio Community 2017 ☒ インストール済
4) CUDAtoolkit 9.0 ☒ インストール済
5) CUDAcuDNN 7.4.2.24 for CUDA 9.0 ☒ インストール済
6) CUDAdriver 417.71 ☒ インストール済
これからは、プログラミングの話がメインになりそう。以下をミッションとして進めていくこととする。
Deep Learning 技術について、公開されているサンプルに触れ、学び、自ら設計、シミレーションできる実務レベルまで身につける。目標はかなり高く、長い道のりになりそうだ。。
PC環境設定4
1) Docker ☒ インストール済
2) Anaconda ☒ インストール済
3) Visual Studio Community 2017 ☒ インストール済
4) CUDAtoolkit 9.0
5) CUDAcuDNN 7.4.2.24 for CUDA 9.0
6) CUDAdriver 417.71
今日は上記 4)、5)、6) のCUDAソフト をインストールする。
■ CUDAtoolkit 9.0
以下から、cuda_9.0.176_win10.exe をダウンロードする。 9.2、10.0 をインストールする手もあったが、実績の面から 9.0 をチョイス。(実は既に10.0をインストールしたことがあり、色々うまくいかなかった経緯あり。。)
https://developer.nvidia.com/cuda-90-download-archive?target_os=Windows&target_arch=x86_64&target_version=10
合わせて、パッチもダウンロード。
・cuda_9.0.176.1_windows.exe
・cuda_9.0.176.2_windows.exe
・cuda_9.0.176.3_windows.exe
・cuda_9.0.176.4_windows.exe
・cuda_9.0.176_win10.exe を実行
・OKを押して、インストール開始
・最新のチップ GeForce RTX2070 を搭載しているので、本当は、10.0 をインストールしないといけないのかも知れない。。You may not be able to run CUDA applications with... が気になるが、そのまま続行。ドライバは別途最新のものをインストールすることとする。
・同意して続行する を押す。
・高速(推奨) を選択して、続行
・インストール中
・Nsight for Visual Studio 2017 はインストールされているのでOK、そのまま続行
・インストール完了!
■ CUDAcuDNN for CUDA 9.0
以下から、cudnn-9.0-windows10-x64-v7.4.2.24.zip をダウンロードする。
https://developer.nvidia.com/rdp/cudnn-download (developer登録が必要)
中身を CUDA Toolkit のインストール先にコピーすればよいらしい。
■ CUDAdriver (Geforce用ドライバ) 417.71
以下から、417.71-desktop-win10-64bit-international-whql.exe をダウンロードする。
http://jp.download.nvidia.com/Windows/417.71/417.71-desktop-win10-64bit-international-whql.exe
・417.71-desktop-win10-64bit-international-whql.exe を実行
・インストール開始
・GeForce Experience は、新しいドライバのリリースを知らせてくれる機能らしいが不要なので、下の方を選択して続行
・高速(推奨) を選択して続行
・インストール中
・あっさり完了!
PC環境設定3
1) Docker ☒ インストール済
2) Anaconda
3) CUDAtoolkit
4) CUDAcuDNN
5) Visual Studio Community 2017 ☒ インストール済
今日は Anaconda のインストール。
・以下から、Anaconda3-2018.12-Windows-x86_64.exe をダウンロード
・左側の Python 3.7 版をダウンロード・インストールする。
https://www.anaconda.com/download/
・Python 3.6 版はなく、後からインストールする必要がありそうだ。
・conda窓から > conda install python=3.6 を実行するらしい。
・インストール開始、Next を押す。
・I Agree を押して進む。
・推奨の Just Me を選択し、Next を押して次に進む。
・インストール先を指定して、Nextを押す。
・デフォルトの Python 3.7 として、Anacondaを選択・登録してよいか。
・下を選択して、インストール開始
・インストールが進む。
・完了、Nextを押す。
・Microsoft VSCode もインストールすべく、インストールボタンを押す。
・インストールが進む。
・Microsoft VSCode インストール完了、Nextを押す。
・Finish を押して完了
・Anaconda Navigator を起動(正常起動の確認)
PC環境設定2
1) Docker
2) Anaconda
3) CUDAtoolkit
4) CUDAcuDNN
5) Visual Studio Community 2017 ☒ インストール済
今日は Docker のインストール。
・以下から、DockerToolbox.exe をダウンロード
https://docs.docker.com/toolbox/overview/
・Toolbox for Windows をダウンロード
・DockerToolbox.exe 実行、Next を押す。
・インストール先を指定して、Next を押す。
・下記の通りにパッケージを選択し、Next を押す。
・オプションを下記の通り選択し、Next を押す。
・内容を確認し、Installを押してインストール開始
・途中で、Oracle USBバスコントローラのインストール画面が表示される。
・インストールを選択して続行
・インストール完了
・Docker Quickstart Terminal を起動(正常起動の確認)
・Kitematic を起動(正常起動の確認)
PC環境設定1
以下のPC環境を整えることを目標とする。
1) Docker
2) Anaconda
3) CUDAtoolkit
4) CUDAcuDNN
5) Visual Studio Community 2017
まずは簡単なものから、5)から着手。と言うか、3)の前に、これを先にインストールする必要があるらしい。
・以下から vs_community__1551496524.1546864285.exe をダウンロード
https://visualstudio.microsoft.com/thank-you-downloading-visual-studio/?sku=Community&rel=15
・インストール実行、続行を押す。
・インストール開始
・C++ によるデスクトップ開発 を選択
・インストール継続
・インストール完了、再起動
・起動確認