Liq’s blog

単身赴任中のしがないサラリーマンの日記

Anaconda設定とデータ集め

  Anaconda Navigator に新しい環境を追加した。
・tensorflow
   GPU機能を使わない tensorflow をインストール
・tensorflow-GPU
   GPU機能付きのtensorflow をインストール

f:id:Liq:20190210175555p:plain

  続いて、公開されている以下のデータを収集。

1) 101料理データ
   https://www.vision.ee.ethz.ch/datasets_extra/food-101/

2) 犬猫データ
   https://www.kaggle.com/c/dogs-vs-cats/data/ (kaggleサイトでユーザ登録が必要)

3) 102花データ
   http://www.robots.ox.ac.uk/~vgg/data/bicos/

  1)、2) は種類ごとにフォルダ分けが簡単にできたが、3)は少々やっかいだった。カテゴリ名(花の名前)と枚数の情報は以下にあるが、実際の画像ファイルは、1フォルダの中に全カテゴリを通じて images_0XXXX.jpg の連番で配置されている状態。ファイル名とカテゴリ名の関係が分からず、フォルダ分けが無理っぽい。色々調べると、ダウンロードした一式の中にあるMATLABファイル imagelabels.mat にラベル情報が入っているらしい。 

  http://www.robots.ox.ac.uk/~vgg/data/flowers/102/categories.html

  また、ラベル情報と花の名前の関係・順番は、以下と推測した。

  https://github.com/Arsey/keras-transfer-learning-for-oxford102/blob/master/class_labels.py

targets=[
    'pink_primrose', // ラベル番号 0
    'hard-leaved_pocket_orchid', // ラベル番号 1
    'canterbury_bells', // ラベル番号 2
    'sweet_pea', // ラベル番号 3
    'english_marigold', // ラベル番号 4
...
} ;

  imagelabels.mat を以下のような csvファイルに変換し、それと上の構造体をもとにフォルダ分けを実施。一寸面倒くさかった。

0,image_00001.jpg,77 // 77がラベル番号
1,image_00002.jpg,77 // 77がラベル番号
2,image_00003.jpg,77 // 77がラベル番号
...
500,image_00501.jpg,88 // 88がラベル番号
...

  これで、3つのデータベースについてフォルダ分けが完了。それぞれ以下のように配置した。詳細は、実際の学習、検証する際に記述する。 

1) 101料理データ
¥20190201_foods
   ¥train
   ¥valid
2) 犬猫データ
¥20190201_dogcat
   ¥train
   ¥valid
3) 102花データ
¥20190201_flowers
   ¥train
   ¥valid


※参考サイト(感謝いたします)
https://blog.hayashikun.com/entry/2018/05/12/131711

PC環境設定5

  これで、PCに以下の開発ツール、ドライバがインストールされた。

1) Docker ☒ インストール済
2) Anaconda ☒ インストール済
3) Visual Studio Community 2017 ☒ インストール済
4) CUDAtoolkit 9.0 ☒ インストール済
5) CUDAcuDNN 7.4.2.24 for CUDA 9.0 ☒ インストール済
6) CUDAdriver 417.71 ☒ インストール済

  これからは、プログラミングの話がメインになりそう。以下をミッションとして進めていくこととする。

  Deep Learning 技術について、公開されているサンプルに触れ、学び、自ら設計、シミレーションできる実務レベルまで身につける。目標はかなり高く、長い道のりになりそうだ。。

f:id:Liq:20190210160052j:plain

PC環境設定4

1) Docker ☒ インストール済
2) Anaconda ☒ インストール済
3) Visual Studio Community 2017 ☒ インストール済
4) CUDAtoolkit 9.0
5) CUDAcuDNN 7.4.2.24 for CUDA 9.0
6) CUDAdriver 417.71
  
  今日は上記 4)、5)、6) のCUDAソフト をインストールする。

■ CUDAtoolkit 9.0

  以下から、cuda_9.0.176_win10.exe をダウンロードする。 9.2、10.0 をインストールする手もあったが、実績の面から 9.0 をチョイス。(実は既に10.0をインストールしたことがあり、色々うまくいかなかった経緯あり。。)

  https://developer.nvidia.com/cuda-90-download-archive?target_os=Windows&target_arch=x86_64&target_version=10

f:id:Liq:20190209174002p:plain

  合わせて、パッチもダウンロード。
  ・cuda_9.0.176.1_windows.exe
  ・cuda_9.0.176.2_windows.exe
  ・cuda_9.0.176.3_windows.exe
  ・cuda_9.0.176.4_windows.exe

f:id:Liq:20190209174008p:plain


・cuda_9.0.176_win10.exe を実行

f:id:Liq:20190210135811p:plain

・OKを押して、インストール開始

f:id:Liq:20190209174020p:plain

f:id:Liq:20190209173930p:plain


・最新のチップ GeForce RTX2070 を搭載しているので、本当は、10.0 をインストールしないといけないのかも知れない。。You may not be able to run CUDA applications with... が気になるが、そのまま続行。ドライバは別途最新のものをインストールすることとする。

f:id:Liq:20190209173935p:plain


・同意して続行する を押す。

f:id:Liq:20190209173939p:plain


・高速(推奨) を選択して、続行

f:id:Liq:20190209173942p:plain


・インストール中

f:id:Liq:20190209173947p:plain


・Nsight for Visual Studio 2017 はインストールされているのでOK、そのまま続行

f:id:Liq:20190209173953p:plain


・インストール完了!

f:id:Liq:20190209173957p:plain


■ CUDAcuDNN for CUDA 9.0

  以下から、cudnn-9.0-windows10-x64-v7.4.2.24.zip をダウンロードする。

  https://developer.nvidia.com/rdp/cudnn-download (developer登録が必要)

f:id:Liq:20190209174111p:plain

  中身を CUDA Toolkit のインストール先にコピーすればよいらしい。

■ CUDAdriver (Geforce用ドライバ) 417.71

  以下から、417.71-desktop-win10-64bit-international-whql.exe をダウンロードする。
 
  http://jp.download.nvidia.com/Windows/417.71/417.71-desktop-win10-64bit-international-whql.exe

・417.71-desktop-win10-64bit-international-whql.exe を実行

f:id:Liq:20190209173245p:plain


・インストール開始

f:id:Liq:20190209173250p:plain

f:id:Liq:20190209173254p:plain

GeForce Experience は、新しいドライバのリリースを知らせてくれる機能らしいが不要なので、下の方を選択して続行

f:id:Liq:20190209173259p:plain

・高速(推奨) を選択して続行

f:id:Liq:20190209173303p:plain


・インストール中

f:id:Liq:20190209173307p:plain

f:id:Liq:20190209173311p:plain


・あっさり完了!

f:id:Liq:20190209173317p:plain

PC環境設定3

1) Docker ☒ インストール済
2) Anaconda
3) CUDAtoolkit
4) CUDAcuDNN
5) Visual Studio Community 2017 ☒ インストール済
 
  今日は Anaconda のインストール。

・以下から、Anaconda3-2018.12-Windows-x86_64.exe をダウンロード
・左側の Python 3.7 版をダウンロード・インストールする。

https://www.anaconda.com/download/

f:id:Liq:20190209160937p:plain

Python 3.6 版はなく、後からインストールする必要がありそうだ。
・conda窓から > conda install python=3.6 を実行するらしい。f:id:Liq:20190209155526p:plain


・インストール開始、Next を押す。

f:id:Liq:20190209155531p:plain

・I Agree を押して進む。

f:id:Liq:20190209155536p:plain

・推奨の Just Me を選択し、Next を押して次に進む。

f:id:Liq:20190209155539p:plain

・インストール先を指定して、Nextを押す。

f:id:Liq:20190209163102p:plain


・デフォルトの Python 3.7 として、Anacondaを選択・登録してよいか。
・下を選択して、インストール開始

f:id:Liq:20190209155546p:plain

・インストールが進む。

f:id:Liq:20190209155550p:plain

・完了、Nextを押す。

f:id:Liq:20190209155554p:plain

Microsoft VSCode もインストールすべく、インストールボタンを押す。

f:id:Liq:20190209155558p:plain

・インストールが進む。

f:id:Liq:20190209155603p:plain

Microsoft VSCode インストール完了、Nextを押す。

f:id:Liq:20190209155609p:plain

・Finish を押して完了

f:id:Liq:20190209155613p:plain

・Anaconda Navigator を起動(正常起動の確認)

f:id:Liq:20190209155617p:plain

PC環境設定2

1) Docker
2) Anaconda
3) CUDAtoolkit
4) CUDAcuDNN
5) Visual Studio Community 2017 ☒ インストール済
 
  今日は Docker のインストール。

・以下から、DockerToolbox.exe をダウンロード

https://docs.docker.com/toolbox/overview/

・Toolbox for Windows をダウンロード

f:id:Liq:20190209143442p:plain

・DockerToolbox.exe 実行、Next を押す。

f:id:Liq:20190209142128p:plain

・インストール先を指定して、Next を押す。

f:id:Liq:20190209142131p:plain

・下記の通りにパッケージを選択し、Next を押す。

f:id:Liq:20190209142134p:plain


・オプションを下記の通り選択し、Next を押す。

f:id:Liq:20190209142138p:plain

・内容を確認し、Installを押してインストール開始

f:id:Liq:20190209142143p:plain

・途中で、Oracle USBバスコントローラのインストール画面が表示される。
・インストールを選択して続行

f:id:Liq:20190209142146p:plain

・インストール完了

f:id:Liq:20190209142150p:plain

・Docker Quickstart Terminal を起動(正常起動の確認)

f:id:Liq:20190209142153p:plain

・Kitematic を起動(正常起動の確認)

f:id:Liq:20190209142201p:plain

PC環境設定1

  以下のPC環境を整えることを目標とする。

1) Docker
2) Anaconda
3) CUDAtoolkit
4) CUDAcuDNN
5) Visual Studio Community 2017

  まずは簡単なものから、5)から着手。と言うか、3)の前に、これを先にインストールする必要があるらしい。

・以下から vs_community__1551496524.1546864285.exe をダウンロード

https://visualstudio.microsoft.com/thank-you-downloading-visual-studio/?sku=Community&rel=15

・インストール実行、続行を押す。
f:id:Liq:20190209134532p:plain

・インストール開始
f:id:Liq:20190209134535p:plain

C++ によるデスクトップ開発 を選択

f:id:Liq:20190209134545p:plain

・インストール継続

f:id:Liq:20190209134551p:plain

・インストール完了、再起動

f:id:Liq:20190209134556p:plain

・起動確認

f:id:Liq:20190209134601p:plain

PC製作6

  安定してきたが、極稀にフリーズすることがある。。マザーボードがはずれなのか?まあ、ここまで来たので当面、これを使っていくこととする。また、PC製作シリーズも一旦完結とする。これから暫くはソフトウェアのインストール・設定に集中することになりそう。

f:id:Liq:20190209125142j:plain