shine-Notes

ゆるふわ思考ダンプ

python

MLflow+Airflowでざっくり実験管理の仕組みを作り、Docker-composeでまとめる

サマリ MLDP(後述)を読んだ流れでMLOps系のライブラリが気になり、手始めにMLflowを動かすことにした どうせなので、データ取得からモデル訓練、評価までの一連を全部動かせる仕組みをDocker-composeにまとめることにした 特異性が有ることをやった訳でもな…

Mac OS環境にPython開発環境を構築する私的解(brew+pipenv+pyenv)(2020年11月版)

サマリ Mac OSへのPythonインストールに関する、私的な最適解のメモ homebrew + pipenv + pyenvで、ものぐさに管理された世界を作る 背景 今年の中盤に私物MacBookProを買い替えたのだが、環境構築系は0から綺麗に作ろーかなー、と思いはや半年。いかんこの…

シンプルなFlaskアプリをGoogle App Engineで稼働させる

サマリ 前エントリでローカルで簡単なFlaskアプリを作ったので、Google App Engnineに載せて動かした 作ったらすぐ、そのまま動く……訳でもなかった デプロイしたあとの管理は便利そう

DCGANの学習済GeneratorをFlaskアプリ上で実行する

サマリ Webフレームワークのズブの素人が、ボタンクリックでGANのGeneratorが走るようなWebアプリを作ってみた。 Flaskは確かに短いコードでプロトタイプが作れるが、明示されていない所で「何をやっているか」を結局理解しないとハマるところも多い

icrawlerで収集したデータをGoogle Cloud Storageに保管し、Google Colabにマウントする

サマリ 自前でCNN系のモデルを訓練するに当たり、任意の画像データを集めてGoogle Colabで処理したい 取ったルートは、ローカル環境でicrawler実行→そのままデータをGoogle Cloud Storageへアップロード→Google Colabでマウントして読み込み あまり手を掛け…

Tensorflow lite on ラズパイでACSからエクスポートした画像分類モデルを動かしてみる

サマリ Tensorflow lite使ってみた 何も知らなくても使えるという代物ではないが、動かす分には割と簡単 性能限界と戦うようなエリアは未検証

Azure Custom Visionで訓練したモデルをローカルのTensorflow環境でササッと動かす

サマリ 「学習済モデル取り出せます」って言ってるクラウドマネージドサービスってホンマに使えるんかな…試したろ! Azure Custom Vision→Tensorflowと開発元を跨ぐアプローチだが、概ね問題なく動いた 個人的にはいい塩梅で満足だったが、手が動く人からす…

Python+Selenium+Beautifulsoupでスクレイピング

夏の自由研究としてGarmin Connectの健康データスクレイピングに挑戦した。 本エントリは今回のユースケースに関する技術面の試行錯誤プロセスを記録する。 【サマリ】 乱暴に言えば、大体Seleniumでイケる。 webの知識がなくともChrome開発者ツールを使い倒…

Python3 on mac でpipをターミナルで打っても実行されない

【現象サマリ】 「pip」と打っても実行できない 実行できたと思ったらColud not fetch URL~といったエラーメッセージで実行失敗 解決のためにpipのバージョンアップを実行、失敗 【解決サマリ】 実は「pip3」もしくは「python3 -m pip」だと動く。 pipが古い…