taisablog

taisa's engineer blog

関連記事

PHPによるDBUnit超入門

例えば簡単なWebサービスでMVCのフレームワークを使っていてビジネスロジックを書く用にコントローラとモデルの間にサービス層を追加して開発している場合、コントローラやサービスはモックを駆使しながらテストを書いていくことができます。ただ、例えばフレームワークをバージョンアップしたい、PHPをバージョンアップしたいなどの場合に既存のモデル層に影響がないかをテストで確認したいなんてことがあります。そのような場合には、DBUnitを導入してみてもいいかもしれません。ということで本記事ではPHPによるDBUnitの使い方を書いてみます。 事前情報 今phpunit/dbunitをインストールしようとすると以下の文言が出力されます。詳しくはこちらのissueに書いてありますが、どうもSebastianさんはdbunitのメンテナンスをやめるようです。ただそれを受けてforkしたプロジェクトが出てきているようなので大丈夫かと思います。今回はSebastianさんの純正dbunitを使っています。 Package phpunit/dbunit is abandoned, you should avoid using it. No replacement was suggested また、DBUnitに関する詳しい情報はマニュアルにありますのでご確認ください。https://phpunit.de/manual/6.5/ja/database.html#database.implementing-getdataset 作成したサンプルプロジェクト 今回は、dbunitの確認だけをしたいので、dietcakeのmessage-boardというサンプルプロジェクトを利用しました。今回作成したDBUnit用のサンプルプロジェクトは GitHub からダウンロードして確認できます。 git clone git@github.com:taisa831/phpunit-dbunit-sample.git cd phpunit-dbunit-sample composer install # mysqlサーバを立て`app/config/sql/board.sql`を実行する(SQLは下記に記載しています) # テスト実行 ./vendor/bin/phpunit PHPUnit 7.5.8 by Sebastian Bergmann and contributors. ….. 5 / 5 (100%) Time: 207 ms, Memory: 4.00 MB OK (5 tests, 14 assertions) アプリ用のDDLです。開発用DBとは違うのでboard_dbunitというテーブル名にしています。 — — — Create database — CREATE DATABASE IF NOT EXISTS board_dbunit; GRANT SELECT, INSERT, UPDATE, DELETE ON board.* TO board_root@localhost IDENTIFIED BY ‘board_root’; FLUSH PRIVILEGES; — — Create tables — USE board_dbunit; CREATE TABLE IF NOT EXISTS thread ( id INT UNSIGNED …

機械学習におけるアルゴリズム

前回のパーセプトロンに引き続きこの勉強会用に仕事ではじめる機械学習を元に機械学習におけるアルゴリズムをまとめる。 AIPy (アイパイ) ハンズオン #3 (2018/07/19 19:30〜) この勉強会について しばらくは機械学習に特化した勉強会になります。仕事で機械学習などを活用したいけど何からはじめればよいか分からないような方向けのハンズオン形式の勉強会です。ハ ンズオン形式といいつつまず初めは力を養う為に 仕事ではじめる機械学習 の輪読会からはじめます。この会はみんなで集まって意見を交換したり協力したりしながら一気 … ※不適切な内容である場合はすぐに取り下げます。 そもそもどのアルゴリズムを選ぶべきか 機械学習にはどんな種類があるか 分類(Classification):正解となる離散的なカテゴリ(クラス)と入力データの組み合わせで学習し、未知のデータからクラスを予測する 回帰:正解となる数値と入力データの組み合わせで学習し、未知のデータから連続値を予測する クラスタリング:データを何かしらの基準でグルーピングする 次元削減:高次元のデータを可視化や計算量削減などのために低次元マッピングする その他 推薦:ユーザーが好みそうなアイテムや、閲覧しているアイテムに類似しているアイテムを提示する 異常検知:不審なアクセスなど、普段とは違う挙動を検知する 頻出パターンマイニング:データ中に高頻度に出現するパターンを抽出する 強化学習:囲碁や将棋のような局所的には正解が不明確な環境で、とるべき行動の方針を学習する アルゴリズムを選定するには以下のフローチャートを参考にするとよい。startからはじめて条件によって分類、回帰、クラスタリング、次元削減のどれを選べばよいかが分かる。 アルゴリズムを選定する、scikit-learnのフローチャート ※その他(推薦、異常検知、頻出パターンマイニング、強化学習)は覗く 参考:scikit-learn algorithm cheat-sheet 分類 教師あり学習の1つ 予測対象はカテゴリなどの離散的な値を予測する メールがスパムかどうかや画像が映っているのがどういった物体かなど クラスの数が2の場合を二値分類、3以上の場合を多値分類という 分類については以下のようなアルゴリズムが存在する パーセプトロン ロジスティック回帰 SVM (サポートベクターマシン) ニューラルネットワーク k-NN (k近傍方、k-Nearest Neighbor Method) 決定木、ランダムフォレスト、GBDT (Gradient Boosted Decision Tree) ナイーブベイズ HMM (Hidden Markov Model) 本記事では太字の分類アルゴリズムと回帰(少し)について触れる ロジスティック回帰 ロジスティック回帰の特徴 出力とは別に、その出力のクラスに所属する確率値が出せる 学習はオンライン学習でもバッチ学習でも可能 予測性能はまずまず、学習速度は早い 過学習を防ぐ為の正則化項が加わっている 特に出力の確率値が出せるという特徴のため、広告のクリック予測にもよく使われている。 実践系の参考記事 新シリーズ第8回「ロジスティック回帰分析でターゲットを確率的に予測する」 ロジスティック回帰 ロジスティック回帰を実装してみよう ロジスティック回帰の決定境界 決定境界は直線 ロジスティック回帰の仕組み 活性化関数はシグモイド関数 損失関数は交差エントロピー誤差関数 シグモイド関数 入力が0の時は0.5をとる 値が小さくなるほど0に近づく 値が大きくなる程に1に近づく シグモイド関数を記述するコード def sigmoid(x): return 1 / (1 + np.exp(-x)) 出力yは y= sigmoid(np.dot(w, x)) と表すことが可能で、2値分類時の交差エントロピー誤差関数は、N個のデータに対してyを出力、tを正解ラベル(正しい場合は1、間違っている場合は0とする)、logを底がeの自然対数とすると、次のような書式で表すことができる。 2値分類の時の交差エントロピー誤差関数をコードで書くと以下のようになる def cross_entropy_error(y, t, eps = 1e-15): y_clipped = …

2018年 半年の振り返り

2018年も半年を過ぎたので振り返る。 2018年の抱負 今年も去年と同様に2018年の抱負を書く。 2018年の抱負 去年と同様にいろんなことはできないので大目標3つ+サブ目標。これ以外にも細かいものはいくつかあるけど別途まとめる。 CTOとして 機械学習 英会話 サブ目標 引き続きフロントエンド CTOとして … 前置き 自分はあれもこれもできるタイプではないので、1年の抱負のような目標と中長期的な目標をたててそれをたまに見直しつつただこなすだけという方針にしている。やり方は結果的にこうなりたいというのをリスト化して、そこからドリルダウン式で必要なことそれを一つずつクリアしていく感じ。 2018までに立てていた中長期的な目標は、すべての項目をクリアできたので、年初にあらためて書き出してそれをまた同じように実行している。中長期的な目標と1年の目標があって、1年の目標は、主目票、サブ目標、個人活動、プライベートで分けて立てている。 CTOとしての活動 2018年1月からはスタートアップのCTOという立場で新しいスタートを切ることができた。 選択と集中 これは自分にとってもスタートアップにとっても非常に重要。やりたいことが沢山ある中で限られたリソースで如何にやるべきことをやるか。ただ今年の前半は、業務以外に書籍執筆、コミュニティ活動に結構時間を割いたので選択と集中はできなかった。前半で個人活動は一区切りついたので後半は少し抑えて選択と集中をすることにする。 開発速度と品質担保 開発速度と品質担保はフェーズによって全然やり方が違う。0→1のフェーズはとにかくアウトプットして結果を出す必要がある。今は1→10にするフェーズだと思っているのでどう進めるか色々考えた。 この段階を疎かにすると10→100にするフェーズで開発速度や品質に大きくしわ寄せがくるし、一方でやり過ぎると10→100の段階にたどり着けさえしなくなる。なのでバランスをとりながら開発速度と品質が担保できる方法を考えて進めた。どうしても大きく変えなければいけないところとかはあって、既存機能に影響を与えてしまったのは反省点。 チームビルディング チームビルディングもその時にあったやり方があると思う。去年1年間はスクラムを組んで良さを実感できたけど、今スクラムを組むのは違うと思ってやっていない。ただ、自分がだんだん何やってるのか分からなくなってきたので途中から1人スクラムをはじめた。そして最近、役割だけスクラムっぽい取り組みを入れた体制にした。 新規学習技術は機械学習 去年は、JavaScriptをメインにして活動してある一定の成果が出せたので、今年はかねてから考えていた機械学習をメインにした。そして「AIPyハンズオン勉強会」というのを開催してみんなで一気に学習することにした。 勉強会はこの半年で2回開催できた。これはほんとにやってよかった。次回は7/19に第3回を予定している。こういうのは継続が大事なので続けていきたい。 AIPy (アイパイ) ハンズオン #1 AIPy (アイパイ) ハンズオン #2 AIPy (アイパイ) ハンズオン #3 (7/19開催予定) 執筆 年末から書いていた本を無事出版することができた。書籍執筆はすごく面白いのでまた書きたい。 React、Angular、Vue.js、React Nativeを使って学ぶ はじめてのフロントエンド開発 コミュニティ活動 PyCon JP活動 今年もPyCon JPスタッフをやっているけど案の定あまり活動ができていない。それでも前半は時間を見つけて少しやったけどどうしても中途半端になるので後半の活動は抑え気味になると思う。 PyCon APACに参加する 去年に引き続き今年も参加してきた。海外カンファレンスはPyCon APACしか参加したことないけど本当に面白いので機会をつくって他も参加していきたい。今年はgihyoに参加レポート記事を寄稿した。こういったアウトプットができるのもよさの一つ。 Day1:プライバシーを機械学習でどう守るか?/機械学習の基礎と応用 英語でコミュニケーションができるように 去年PyCon APACに参加した時と比べると、少しDMM英会話をやったりテック系Podcastを聞いたりしたおかげか、普通に生活する分には英語に対する抵抗感は少し減った。トークについても去年よりは聞き取れた気はするけど、話す人によっては全然聞き取れなかったりするのでなんとも言えない。英語使う機会は今の所ないのでこれからはテック系Podcastを聞くくらいに抑える。テック系PodcastはFull transcriptがあるのでTalk Python To Meをよく聞いている。 ブログ継続 ひとつき2投稿目安だけど半年の時点で9投稿と少し少なめ。 サブ目標 サブ目標は今の所ほぼ未着手。JSの深掘りをする予定。 プライベート 草野球とソフトボールをやる 今年もThe Soulsという草野球チームで野球やってる。今季未だ負け無し。今年は草野球に加えてソフトボールもはじめた。 ハーフマラソンかフルマラソンに出る 4/14にハーフマラソンを走った。フルマラソンは経験あるけどハーフははじめて。数年前にフルマラソン走ったときよりもハーフのタイムは悪かったけどなんとか完走。秋に向けて少しずつ準備する。 株 楽天バンクと楽天証券を開設したけどそれ以上はまだ何もやっていない。ちなみに楽天証券はマイナンバーの提出が必要。 まとめ 前半のうちに個人活動はきりよくやることができたので後半は事業に注力する。あと今年は飲みに行きまくっていた。それはそれでいろんな業種の人と出会えるから楽しいけど後半は抑える。体調もたまに不安を覚えるので体調管理もちゃんとせねば。

no image

DockerでGoのWebサーバーを起動する

ミニマムにやっておかないと忘れがちなのでメモ サンプル用Goサーバを作成する package main import ( “encoding/json” “net/http” ) type User struct { FirstName string `json:”firstName”` LastName string `json:”lastName”` } func users(w http.ResponseWriter, req *http.Request) { w.Header().Set(“Content-Type”, “application/json”) user := User{ FirstName: “John”, LastName: “Doe”, } var users []User users = append(users, user) json.NewEncoder(w).Encode(users) } func main() { http.HandleFunc(“/users”, users) http.ListenAndServe(“:8002”, nil) } 普通に起動して動作確認をします。 $ go run main.go http://localhost:8002/usersにアクセスするとJSON結果が出力されます。 [ { “firstName”: “John”, “lastName”: “Doe” } ] Dockerfile Dockerfileを作成します。alpineをつけるとよりミニマムなイメージができます。参考(https://hub.docker.com/_/golang?tab=description) FROM golang:1.14 #FROM golang:1.14-alpine # コンテナログイン時のディレクトリ指定 WORKDIR /opt/sandbox-docker-go # ホストのファイルをコンテナの作業ディレクトリにコピー COPY . . # ADD . . # ビルド RUN go build -o app main.go # 起動 CMD [“/opt/sandbox-docker-go/app”] 構成 $ …

no image

2020年の抱負

気づけば長年PHPの環境にいましたが、昨年あらたな環境で開発できるようになったのでこれらを軸にビジネスにつなげていきたいと思います。 毎年書いていますが、自分は積んでるエンジンが小さい上に車体も故障気味なので多くのことはできないですが、できる限り工夫してやっていきます。 GolangVueJSReactTypeScriptAWSPython (Flask)執筆ブログ継続 中長期的な話 3~5年スパンで中長期的なことを考えてやりたいこと・やらないことを決めて微調整しながらコツコツやっていますが、昨年環境が変わったこともありあらためて少し考え直しました。 楽しく仕事をする 今がめちゃくちゃ楽しいのでこれを維持したいのが本音です。ビジネスが広がりつつこれを維持しつつ更によくすることに注力します。 良いプロダクト良いメンバー良い技術スタック これが自分の意識する3本柱です。どれがかけてもだめなのでこれらをどうするかを考えて行動します。 生活面 体力の衰え、太りやすさを感じる年齢にもなってきたので昨年末から下記をするようになりました。これらをスモールスタートで継続します。 腕立て・スクワット・プランクランニング家で飲みすぎない家でタバコをなるべく吸わない ブログ書くネタが沢山できて嬉しい限り。そして何より「家内安全」「健康第一」で!