shine-Notes

ゆるふわ思考ダンプ

冒険の書 AI時代のアンラーニング を読み、学びの過程に思いを馳せる

ITエンジニア本大賞2024(https://www.shoeisha.co.jp/campaign/award/vote)にノミネートされていたのを切っ掛けに、「冒険の書 AI時代のアンラーニング」を読んだので、読書ノートを残す。面白くも色々考えてしまう本だった。 bookplus.nikkei.com サマリ 歴…

おそらくソフトウェアアーキテクトではない人間が「ソフトウェアアーキテクチャの基礎」を読んだ感想

という訳で、読書ノートである。書籍の紹介と自分のチラ裏ポエムを兼用する形でポストしていく。 www.oreilly.co.jp サマリ ソフトウェアアーキテクチャを選択した時、そこに有るのはトレードオフだ。 ソフトウェアアーキテクトはソフトウェアアーキテクチャ…

Rust×WASMに入門する(Linderaでブラウザから形態素解析)

サマリ 前から名前だけしか知らなかったWeb AssemblyをRustで動かしてみた ついでにRust×NLP(ML)を覗き見したかったので、形態素解析エンジンを動かしてみた

MLflow+Airflowでざっくり実験管理の仕組みを作り、Docker-composeでまとめる

サマリ MLDP(後述)を読んだ流れでMLOps系のライブラリが気になり、手始めにMLflowを動かすことにした どうせなので、データ取得からモデル訓練、評価までの一連を全部動かせる仕組みをDocker-composeにまとめることにした 特異性が有ることをやった訳でもな…

Rust(Rocket+Diesel)でsqliteのテーブルにCRUDするだけのAPIサーバを作る

サマリ Rustへの習熟がてら、フレームワーク(Rocket)を使って簡単なAPIサーバを書いた 自分の普段使わない言語(Rust)で、自分の親しんでいるエリア(Webフレームワーク)を書いてみるのも勉強になる

Vue.jsでCloud NLPにPOSTするだけの画面を作り、Firebase Hostingに載せる

サマリ Vue.js入門のため、APIへのPOSTを行う簡単な画面を作った ズブの素人スタートの速習だが、色々と学ぶところがあり面白かった

.env+nuxt.js.configでAPIキーを秘匿する手順

axios等で外部APIを叩く際に、APIキーを秘匿してもたせる手順を調べたのでメモ(久々の短文エントリ)。 .env ( .gitignoreでリポジトリの管理対象外にしておくこと) API_KEY=hogehuga nuxt.js.config require('dotenv').config(); export default { (中略) bu…

統計検定の3級、2級を順に受験して合格したので学習内容や所感を記録する

サマリ 統計検定3級と2級に合格するまでの学習記録 「最短距離詰め込み」ではなく、「寄り道しつつ突っ走る」学習法について、自分のケーススタディを記録する 数値分析を生業とはしていないけど、結構学ぶ楽しさが有ったよ、というポエムめいた所感

Mac OS環境にPython開発環境を構築する私的解(brew+pipenv+pyenv)(2020年11月版)

サマリ Mac OSへのPythonインストールに関する、私的な最適解のメモ homebrew + pipenv + pyenvで、ものぐさに管理された世界を作る 背景 今年の中盤に私物MacBookProを買い替えたのだが、環境構築系は0から綺麗に作ろーかなー、と思いはや半年。いかんこの…

tensorflow v2 のBatchNormalizationを使うと参考書のGAN訓練(tf1.x)が失敗した話

TL;DR tf1.xベースの所謂keras-GANベースの実装をtensorflow2.xで実行すると、学習失敗する BatchNormalizationの部分をtf.compat.v1.keras.layers.BatchNormalizationに変更すると成功する 原因はkeras-GANにおけるtrainableの切り替え。v2のBatchNormaliza…

シンプルなFlaskアプリをGoogle App Engineで稼働させる

サマリ 前エントリでローカルで簡単なFlaskアプリを作ったので、Google App Engnineに載せて動かした 作ったらすぐ、そのまま動く……訳でもなかった デプロイしたあとの管理は便利そう

DCGANの学習済GeneratorをFlaskアプリ上で実行する

サマリ Webフレームワークのズブの素人が、ボタンクリックでGANのGeneratorが走るようなWebアプリを作ってみた。 Flaskは確かに短いコードでプロトタイプが作れるが、明示されていない所で「何をやっているか」を結局理解しないとハマるところも多い

icrawlerで収集したデータをGoogle Cloud Storageに保管し、Google Colabにマウントする

サマリ 自前でCNN系のモデルを訓練するに当たり、任意の画像データを集めてGoogle Colabで処理したい 取ったルートは、ローカル環境でicrawler実行→そのままデータをGoogle Cloud Storageへアップロード→Google Colabでマウントして読み込み あまり手を掛け…

Tensorflow lite on ラズパイでACSからエクスポートした画像分類モデルを動かしてみる

サマリ Tensorflow lite使ってみた 何も知らなくても使えるという代物ではないが、動かす分には割と簡単 性能限界と戦うようなエリアは未検証

Azure Custom Visionで訓練したモデルをローカルのTensorflow環境でササッと動かす

サマリ 「学習済モデル取り出せます」って言ってるクラウドマネージドサービスってホンマに使えるんかな…試したろ! Azure Custom Vision→Tensorflowと開発元を跨ぐアプローチだが、概ね問題なく動いた 個人的にはいい塩梅で満足だったが、手が動く人からす…

"Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition"をざっと読んだ

サマリ 邦訳版第1版でお世話になった書籍を英語でざっと読んだ。なんだかんだ楽しかったので備忘録 カバー範囲の広い書籍だが、Deep Learningをやるのに間違いなく必要な内容が詰まっており、頼れるインデックスになると思う というかあれ? 目を話してたス…

2019年末の読書記録(201908~12)

サマリ 折角色々読んでるので、遅きに失した感はあるが備忘録を残す DeepLearningメインにしつつ、色々

Keras(Deep Learning)関連の読書記録(201904~201907)

サマリ DeepLearningの勉強のために読んだ本の感想とか学習したことの記録。 個人的な所感としては、 Kerasベースで基礎からやるなら「PythonとKerasによるディープラーニング」

ポエム:Machine Learning周辺の読書記録(201811~201903)

【サマリ】 クソ文系SEがブームに乗り遅れた気がしながら機械学習を勉強している話。読んだ本の感想とか思ったことを残すポエム。

KaggleのTitanicチュートリアルをやってみた話

【サマリ】 「取り敢えずやってみろ」と言われてやってみたが、取り敢えずやってみる価値がある。 勝手にハードル高く感じていたが、チュートリアルサイトを見てしまえばそれ程ではない。 概念は薄くさらっておいた方が楽しい。が、必須なのかは結局は人によ…

Python+Selenium+Beautifulsoupでスクレイピング

夏の自由研究としてGarmin Connectの健康データスクレイピングに挑戦した。 本エントリは今回のユースケースに関する技術面の試行錯誤プロセスを記録する。 【サマリ】 乱暴に言えば、大体Seleniumでイケる。 webの知識がなくともChrome開発者ツールを使い倒…

Python3 on mac でpipをターミナルで打っても実行されない

【現象サマリ】 「pip」と打っても実行できない 実行できたと思ったらColud not fetch URL~といったエラーメッセージで実行失敗 解決のためにpipのバージョンアップを実行、失敗 【解決サマリ】 実は「pip3」もしくは「python3 -m pip」だと動く。 pipが古い…

読書ノート:「勝てる野球の統計学 セイバーメトリクス」

勝てる野球の統計学――セイバーメトリクス (岩波科学ライブラリー)作者: 鳥越規央,データスタジアム野球事業部出版社/メーカー: 岩波書店発売日: 2014/03/13メディア: 単行本(ソフトカバー)この商品を含むブログ (5件) を見る 【サマリ】 SABRmetrics≒プロ…

macOS SierraにDockerをインストールした

【サマリ】 主題の通り。特筆するほどの事も無かったが記録までに。

PowerShellでキーボード操作を行う

【サマリ】 ・System.Windows.Forms.SendKeysでキー操作をPowerShellから実行できる ・ただし、操作したい対象によっては上手く使えないこと有り

ManagementStudioのGUI上で簡単にAzure Storageへバックアップが取れるようになっていた

【サマリ】 ・SQL Server Management Studio(略SSMS)を17.5にしたら、GUI上でスムーズにAzure StorageへのDBバックアップが実行できるようになっていた。 ・以前(2017年10月)試した時はできなかった。先日も.bacpacのバックアップでハマったので、SSMS17.xは…

Amazon Echo dotを2ヶ月リビングに置いた

AmazonEchoDotをリビングに導入して2ヶ月ほど経った。家庭内での運用も落ち着いてきた事だし、期間としてはこなれてきた時期だろう。 記録がてら、使用感について記載する。

SQL Azure Database Copyに使うdmv

【サマリ】 ・SQL Databaseのコピーを実行する際に、専用のdmvを使うことで実施経過を確認できる。 ・ただし、このdmvはcopy実行中だけ経過が見えるもので、コピー完了後の実行結果は0件になる。

読書ノート:「日本人の9割が知らない遺伝の真実」安藤寿康

【サマリ】 ・髪の色や肌の色が遺伝するのだから、知能や性格も遺伝するのでは?と思って調べたらどうやら遺伝してるっぽかった。 ・時代によって必要とされるパラメータは変化する。どのパラメータが絶対という訳ではない。 日本人の9割が知らない遺伝の真…

Invoke-Sqlcmd(PowerShell)経由のファイル書き込みに失敗する

【状況】 ・WinServ2012R2上でPowerShellからInvoke-Sqlcmd経由でSQL Serverバックアップを実行したが、以下のエラーで失敗 (中略)Unable to open the physical file "[パス]". Operating system error 5: "5(Access is denied.)". ・親フォルダには既にアク…