経緯
学位を取るための論文執筆が死ぬほど辛かった私は執筆の経験が浅いから苦しんだのだと仮説を置いた。
この仮説を検証するために論文よりレベルを落として薄い本を書くことを思い立った。
[Read More]pythonで環境構築の為にきれいなrequirements.txtを作成する方法
python で環境構築をする際にrequirements.txtを利用することがある。
ただ、素直にrequirements.txtを作ると環境構築の再現性が低い場合がある。
[Read More]MLops 実験開発環境の整備の必要性
MLops
レベル1だけでもやっとけばええんちゃうか
やること
- データの前処理と保存
- 特徴量の抽出と保存
- 分類器の学習と保存
- それぞれのパラメータの保存
利点
実験する部分や追加したい機能の切り分けがしやすくなる。
[Read More]pythonに引数をとらせるArgparseの例
サンプルプログラム
以下公式サイトより引用
import argparse
parser.add_argument("square", type=int,
help="display a square of a given number")
parser.add_argument("-v", "--verbose", action="store_true",
help="increase output verbosity")
args = parser.parse_args()
answer = args.square**2
解説
parser.add_argument("square", type=int,
help="display a square of a given number")
引数の名前がsquare
型を指定できる。デフォルトはstr。
前に-がつかない名前は位置引数。
[Read More]python janome 0.4系からstreamモードがデフォルト 解決策のメモ
janomeのバージョンを上げると、分かち書きの出力をgeneratorで返すようになった。
generatorはメモリ効率が良いというメリットがある一方でリストでデータを保持したいという気持ちがある。
[Read More]pythonでpandasを使ってエクセルを読み込み失敗するときの対処
xlrdのバージョンによって、.xlsxファイルの読み込みに失敗する。
対策としてはバージョンを下げる。
pip3 install xlrd==1.2.0
参考リンク
Macでbashからzshへ移行する方法
手順
-
環境変数などの移行
cat .bash_profile » .zprofile
-
bashからzshへの切り替え
chsh -s /bin/zsh
参考リンク
big surになってから、homebrew upgrade python でエラーが起きた際の対処法
big surになってからhomebrewのアップデートをしてなかったので色々とエラーが出た。
brew update
brew upgrade
でエラーが出た。
brew link python --force
などを行なって対処した。
[Read More]Mac bashからzshへ変更する際の設定と注意点
デフォルトシェルの変更
chsh -s /bin/zsh
zshに環境変数のパスを通す
~/.zshrc
に記述する。
記述方法はbashと同様
参考リンク
tensorflow GPUメモリを一気に確保しない設定の仕方
tensorflow 1系は使える全てのGPUリソースを確保する。
メモリオーバーを観測できないので、 逐次的にGPUメモリを確保するように設定を変更する。
これによってGPU使用量の観測ができる。
[Read More]