Python開発環境

Google Colaboratory

Googleドライブをマウント

from google.colab import drive
drive.mount('/content/drive')

%cd path
%ls -ilha

Conda環境

$ conda create -n Python310 python==3.10.12  # 作成
$ conda info -e  # 確認
$ conda deactivate
$ conda env remove -n Python310  # 削除

WSL（Ubuntu22.04LTS）　　WSL-ディープラーニング対応(追加)
Windows11　　　　　　　　　Windows11-ディープラーニング対応(追加)

WSL（Ubuntu22.04LTS）

■Ubuntu 22.04 LTS　パッケージ更新＆アップグレード(常に)
$ sudo apt-get update && sudo apt-get upgrade

gcc, gcc++ インストール　c-cコンパイラ（gcc-g）

$ sudo apt-get update
$ sudo apt install -y build-essential
$ gcc --version  # ver.確認
$ g++ --version  # ver.確認

Anaconda3 インストール

$ sudo apt-get update
$ cd ~
$ wget https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh
$ chmod +x Anaconda3-2022.10-Linux-x86_64.sh
$ sh Anaconda3-2022.10-Linux-x86_64.sh
    Do you accept the license terms? [yes|no] >>> yes
    [/home/masa/anaconda3] >>>　Enter
    You can undo this by running `conda init --reverse $SHELL`? [yes|no]
    [no] >>> yes
$ rm Anaconda3-2022.10-Linux-x86_64.sh
$ source ~/.bashrc

■初期環境確認
(base) $ conda list
(base) $ conda deactivate  # 一旦抜ける
$ conda config --set auto_activate_base false    ※毎回勝手に(base)で起動するのを止めとく

■新しい仮想環境
$ conda create -n Python310 python==3.10.12　作成
$ conda info -e　確認
　※削除
　$ conda deactivate
　$ conda env remove -n Python310

■必要なライブラリをインストール
$ conda activate Python310
$ conda install jupyter notebook==6.5.4
$ pip install pandas==1.5.3 numpy==1.23.5 seaborn==0.13.1 matplotlib==3.7.1 plotly==5.15.0 scikit-learn==1.2.2 scipy==1.11.4 h5py==3.9.0 tensorflow==2.15.0 keras==2.15.0 flask==2.2.5 tqdm opencv-python imbalanced-learn==0.10.1

WSLディープラーニング対応(追加)

■ローカルGPUを認識しているかチェック
$ conda activate Python310
$ jupyter notebook

!nvidia-smi

import tensorflow as tf
tf.config.list_physical_devices('GPU')

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

■■以下は1回だけやればOK（wslにインストールするので、全conda環境に適用される）
■CUDA（クーダ）をインストール　12.2
    ダウンロード　https://developer.nvidia.com/cuda-12-2-0-download-archive
$ wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
$ sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
$ wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda-repo-wsl-ubuntu-12-2-local_12.2.0-1_amd64.deb
$ sudo dpkg -i cuda-repo-wsl-ubuntu-12-2-local_12.2.0-1_amd64.deb
$ sudo cp /var/cuda-repo-wsl-ubuntu-12-2-local/cuda-*-keyring.gpg /usr/share/keyrings/
$ sudo apt-get update
$ sudo apt-get -y install cuda

※パスを通しておく
$ echo 'export CUDA_PATH=/usr/local/cuda-12.2' >> ${HOME}/.bashrc
$ echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:${LD_LIBRARY_PATH}' >> ${HOME}/.bashrc
$ echo 'export PATH=/usr/local/cuda-12.2/bin:${PATH}' >> ${HOME}/.bashrc
$ source ~/.bashrc

$ nvcc --version　を実行してバージョンが表示されればOk

■cuDNN（クドン）をインストール　8.9
　ダウンロード　https://developer.nvidia.com/rdp/cudnn-download
インストーラを、WindowsのDownloadディレクトリ-->WSLのホームディレクトリに移動
$ mv /mnt/c/Users/isdms/Downloads/cudnn-local-repo-ubuntu2204-8.9.7.29_1.0-1_amd64.deb .
Debianパッケージのインストール
$ sudo dpkg -i cudnn-local-repo-ubuntu2204-8.9.7.29_1.0-1_amd64.deb
　↓
下記コマンドが出てくるので、コピペで実行　　　　　　　　　　　↓　ここ毎回変わる
$ sudo cp /var/cudnn-local-repo-ubuntu2204-8.9.7.29/cudnn-local-00000000-keyring.gpg /usr/share/keyrings/
関連パッケージのインストール
$ sudo apt-get update
$ sudo apt-get -y install libcudnn8 libcudnn8-dev libcudnn8-samples

■インストールが終わったら、インストーラを削除しておく
$ rm cuda-repo-wsl-ubuntu-12-2-local_12.2.0-1_amd64.deb
$ rm cudnn-local-repo-ubuntu2204-8.9.7.29_1.0-1_amd64.deb

Windows11

Anaconda3 インストール

■初期環境確認
(base) > conda list
(base) > conda deactivate  # 一旦抜ける
$ conda config --set auto_activate_base false    ※毎回勝手に(base)で起動するのを止めとく


■新しい仮想環境
> conda create -n py310 python==3.10.12　作成
> conda info -e　確認
> conda deactivate
> conda env remove -n py310  削除

■pipを最新に更新
> C:\Users\[user]\anaconda3\envs\py310\python.exe -m pip install --upgrade pip

■必要なライブラリをインストール
> conda activate Python310
> conda install jupyter notebook==6.5.4
> pip install pandas==1.5.3 numpy==1.23.5 seaborn==0.13.1 matplotlib==3.7.1 plotly==5.15.0 scikit-learn==1.2.2 imbalanced-learn==0.10.1 openai==0.28.0 langchain==0.1.11 llama-index==0.8.0 streamlit==1.31.1

Whisper
> pip install git+https://github.com/openai/whisper.git

Windows11-ディープラーニング対応(追加)

TensorFlow公式
注意: TensorFlow 2.10ネイティブ Windows で GPU をサポートする最後のTensorFlow リリースでした。 TensorFlow 2.11以降では、 WSL2 に TensorFlow をインストールするか、 tensorflowまたはtensorflow-cpuをインストールし、オプションでTensorFlow-DirectML-Pluginを試す必要があります。

Visual Studio 2019 インストール

CUDA Toolkit 11.8　インストール
cuDNN 8.1.0　cuDNN Library for Windows (x86) インストール
　C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\各フォルダに展開

■Tensorflow用conda環境を作成
> conda create -n py310tf python==3.10.12
> conda activate py310tf

■pipを最新に更新
> C:\Users\[user]\anaconda3\envs\py310tf\python.exe -m pip install --upgrade pip

■必要なライブラリをインストール
> pip install pandas==1.5.3 numpy==1.23.5 seaborn==0.13.1 matplotlib==3.7.1 plotly==5.15.0 scikit-learn==1.2.2 imbalanced-learn==0.10.1 tensorflow==2.10.0

■ローカルGPUを認識しているかチェック
> jupyter notebook

!nvidia-smi

import tensorflow as tf
tf.config.list_physical_devices('GPU')

from tensorflow.python.client import device_lib
device_lib.list_local_devices()