2018-03-13

コマンドラインの実行結果を監視する

shell

コマンドラインの実行結果を監視したいんだと

watchだと履歴が見れない
whileだと全部垂れ流しで全部のデータを見るのがだるい

コマンドラインの実行結果が変わったときだけに表示してほしい〜〜って思ったんだけど、watchもwhileも微妙だったのでチョコチョコかいたそういうコマンドありそうなんだけど知らないなあ

while do
  sleep 1
  c=`date +"%Y-%m-%d %H:%M"`
  if [ $c != $d ]; then
    date
    echo $c
    echo '-------------------------------------------------------------------'
  fi
  d=$c
done

こんな感じに標準出力が変わったときに表示される

2018年 3月13日 火曜日 07時40分00秒 JST
2018-03-13 07:40
-------------------------------------------------------------------
2018年 3月13日 火曜日 07時41分00秒 JST
2018-03-13 07:41
-------------------------------------------------------------------
2018年 3月13日 火曜日 07時42分00秒 JST
2018-03-13 07:42
-------------------------------------------------------------------
2018年 3月13日 火曜日 07時43分00秒 JST
2018-03-13 07:43
-------------------------------------------------------------------
2018年 3月13日 火曜日 07時44分00秒 JST
2018-03-13 07:44
-------------------------------------------------------------------

2016-12-21

ImageMagickを使って画像サイズを取得する

$ identify  -format "%w x %h" ./hogehoge.jpg
1000 x 1333

2016-12-12

ImageMagickを使って画像の種類を判別する

ImageMagick shell

ImageMagickのidentifyコマンドを使って画像の判定ができる。

拡張子はJPGと言いながら実はPNGだった例

$ identify -format %m ./path/to/image-file.jpg
PNG

特定のディレクトリ以下のすべてのファイルの種類を表示するならこんな感じ

for imagefile in $(find ./ -name *.jpg); do
  format=$(identify -format %m $imagefile)
  echo "${format} ${imagefile}"
done

jpg以外のファイルを探すならこんな感じ

for imagefile in $(find ./ -name *.jpg); do
  format=$(identify -format %m $imagefile)
  if [ $format != 'JPEG' ]; then
    echo "${format} ${imagefile}"
  fi
done

magic numberの確認

例えばカメラのRAWファイルの場合、ImageMagickはデフォルトで判別することはできない*1 どういう画像なのかはたいていマジクナンバーを見れば分かる

$ od -c ./path/to/raw-file.jpg | head -4
0000000    I   I   R   O  \b  \0  \0  \0 027  \0  \0 001 004  \0 001  \0
0000020   \0  \0 360 017  \0  \0 001 001 004  \0 001  \0  \0  \0 340  \v
0000040   \0  \0 002 001 003  \0 001  \0  \0  \0 020  \0  \0  \0 003 001
0000060  003  \0 001  \0  \0  \0 001  \0  \0  \0 006 001 003  \0 001  \0

IIRO magic number で検索するとOlympusのORFファイルだということが分かった。

参考

Command-line Tools: Identify @ ImageMagick http://www.imagemagick.org/script/identify.php
Format and Print Image Properties @ ImageMagick http://www.imagemagick.org/script/escape.php

*1:ufrawをインストールすれば扱うことができる

2016-07-31

Androidプロジェクトをｼｭｯと開く

Android AndroidStudio Alfred

Androidプロジェクトを開く時、Android Studioのメニューから開くのはとてもめんどうくさい。File -> Open... と選択してからプロジェクトの在り処を選択する必要がある。めんどうだ。マウス操作めんどう。

実はコマンドラインからプロジェクトをAndroid Studioで開くコマンドラインツールがAndroid Studioに備わっている。なんかしらのプロジェクトを開いている状態でTools -> Create Command-line Launcher... を選んでコマンドを作るだけだ。

f:id:tomorrowkey:20160731142409p:plain

コマンドが作られると、プロジェクトがカレントディレクトリの状態で次のコマンドを実行するだけでプロジェクトを開くことができる。

studio .

楽ちん〜。

この機能はすべてのJetBrains系のIDEについているみたいなので、例えばRubyMineとかでも使えます。

さらにAlfredを使っている人は次のworkflowもオススメ

github.com

studioと入力すると開くプロジェクトがでてくるので素早くプロジェクトを開くことができる。

f:id:tomorrowkey:20160731143152p:plain

ここにでてくるプロジェクトはAndroid Studioで開いたことがあるものだけなので注意が必要。

2016-07-31

adb-pecoを書き直しました

Android Ruby adb-peco

複数デバイスが接続されていたときにデバイスを選択する支援をしてくれる adb-peco ですが、この度、Rubyでコードを書き直しました。通常だとmore than one device/emulator と出力されるようなシチュエーションでも、こんな風にコマンド実行時にデバイス選択することができます。

f:id:tomorrowkey:20160731134935g:plain

書き直したことにより次の２つの改善がなされました。

インストールの簡素化
デバイス指定の必要のないコマンドではデバイス指定なしに

インストールの簡素化

Ruby Gemで作っているためインストールがコマンド１つで完結するようになりました。

gem install adb-peco

デバイス指定の必要のないコマンドではデバイス指定なしに

以前のshell版ではdevicesやkill-serverなどでもデバイス指定が必要でした。これらのコマンドでは本来デバイス指定は必要ないので、なくしました。ホワイトリスト形式で除外しているので、デバイス指定が必要ないコマンドが他にありましたらissue立てて貰えると対応します。

最後に

ソースコードはGitHubで公開していますので、うまく動かないなどありましたらissue立ててもらえると助かります。

github.com

2016-06-09

Androidアプリのビルドが終わったらにゃーんと猫の声が聞こえるようにする

iTerm2 Android

Androidアプリのビルドはターミナル派でしょうか、それともAndroid Studio派でしょうか。最近はInstant Runや、接続されているデバイスの情報から不要なリソースを削ることでビルドの高速化されるなど、Android Studioでのビルドは魅力的なところが多いのですが、私は依然ターミナル派です。*1

いままで作ったコマンド

これまで、ターミナルで快適に開発ができるように、便利なコマンドを開発しては公開してきました。

techlife.cookpad.com techlife.cookpad.com

中でも特に気に入ってるものの１つがnotifier-pluginです。

tomorrowkey.hatenablog.jp

notifier-pluginとは

Androidアプリのビルドって結構長いですよね。規模によってはフルビルドで3~4分かかってしまうアプリも少なくないんじゃないでしょうか。ビルドの待ち時間が長いとついついTwitterでﾊｲﾊｲﾜﾛｽﾜﾛｽと糞ツイートが捗ってしまいます。いつのまにかTwitterに熱中してしまってビルドが終わっても気づかずに10分以上Twitterやってたみたいな経験はないでしょうか。
そこで開発したのがnotifier-pluginで、ビルドが終わったタイミングで音声で教えてくれたり、通知センターで教えてくれたり、決まった音楽を流すことができます。導入方法はbuild.gradleに書いて、設定ファイルを１つ追加するだけです。

iTerm2

話は変わりますが、私は快適なターミナル生活のためにiTerm2を使っています。
iTerm2はMacのターミナルをもっと便利にするアプリケーションで、決まったショートカットを押すとｼｭｯとターミナルを出すことができるところが気に入ってます。そのiTerm2が最近version 3になりました。ただｼｭｯとするためだけに使ってきたiTerm2ですが、これを機に機能を調べているとTriggerという機能があり、これを使えばプラグインすらいらねーんじゃねと思って使ってみました。

iTerm2でビルドがにゃーんと分かる

Triggerの設定をしましょう。

Preferences > Profiles > $YOUR_PROFILE > Advanced > Triggers > Edit

f:id:tomorrowkey:20160609154345p:plain

+ボタンから新しいトリガーを設定します。

f:id:tomorrowkey:20160609154350p:plain

正規表現で一致したテキストが出力されると何らかのアクションを起こすことができます。

Gradleビルド成功/失敗時のログは次のようになります。

# 成功時
BUILD SUCCESSFUL

# 失敗時
BUILD FAILED

よって正規表現を次のように定義しました。

^(BUILD (SUCCESSFUL|FAILED))$

起こすアクションはコマンドの実行です。次のコマンドを実行するように定義しました。

say -v 'Alex' \1

Macにプリインされているsayコマンドを使い、Alexがビルド結果を教えてくれます。正規表現で一致したテキストをアクションで使用しています。そのへんのルールはここに https://www.iterm2.com/documentation-triggers.html あります。

にゃーんと鳴いてねーじゃねーかと思いますが、任意の音声を再生するならこんな感じでしょうか。

afplay ~/Downloads/meow.mp3

これでにゃーんと鳴きます。

通知センターで表示しながらAlexに喋らせるならこんな感じでしょうか。

echo 'display notification "\1" with title "Gradle"' | osascript; say -v 'Alex' \1

まとめ

Gradle pluginを使わずにビルドが終わったことを音などで知らせることができました。これはAndroidアプリのビルド以外にも時間がかかる処理に応用ができてなかなか便利ですね。またnotifier-pluginはGradle pluginとして動作するので、Android Studio経由のビルドでも音を鳴らすことができるので、そちらもぜひご活用ください。

*1:Instant Runがまだ不安定な部分があり、完全に導入しきれてないなどの理由がありますが、多くは語りません

2016-06-05

Androidエンジニアは自分専用のDockerイメージを作るべきだと思った

Android Docker Wercker

初めてDockerイメージを作ったのでエントリに書いておきます。タイトルはすこし言い過ぎな感じはありますが、CIにDocker使っている人は自分でDockerイメージ作った方がいいよねって話です。

私とCI

CIという言葉もかなり広まり、会社で使うだけではなく個人の開発でもCIを導入している人は多いのではないでしょうか。私はVPN + JenkinsでCIを始めて、1年半前にWerckerに乗り換えました。Jenkinsにはとてつもない自由さやCIがコケた時に原因究明が楽な点がありますが、メンテナンスが大変でした。CIサービスはメンテナンスがあまり必要なくてとても気に入ってます。
Werckerのメリットについては他に書かれている方がたくさんいるので、適当にググって読んでみてください。

WerckerとDocker

私がWerckerに移行した当時はBoxと呼ばれる実行環境でビルドするようになっていましたが、少し前からDockerに差し替わりました。Dockerというキーワードは知っていたもののイメージを作ったことも使ったこともなかったので、適当にイメージを探して他の人のイメージを使わせてもらっていました。しばらくはそれで大丈夫だったのですが、最近この辺でストレスが溜まるようになってきました。

ストレスの原因

一番の理由はAndroidのbuild toolやサポートライブラリのアップデートについていくために実行環境のアップデートをしないといけないのですが、他人のイメージを使っているがために、なかなかアップデートすることができないところです。Dockerfileはオープンソースで公開されているんだからPR出せばいいじゃんという声も聞こえてきそうですが、PRを出したとしてもすぐにマージされるわけではないので、そこでストレスが溜まってしまいます。他の人のライブラリや環境を使うなら当然のリスクですが、プライベートで開発できる時間は限られています。こういった待ち時間があるとついついモチベーションが落ちがちなのでどうにかしたいです。

環境の変化

Android誕生してからもう少しで10年経とうとしていますが、その開発環境は決して枯れることはなく常に変化しています。今もJack and JillやOpen JDK移行などが迫ってきており、今後も開発環境の決定版といえるものはでてこないと思います。

使いたいパッケージの違い

また、人によって使いたいパッケージは異なります。私の場合、CIが終わった後にSlackで通知をしたく、そういったプラグインを使っているのですが、そのプラグインがRubyで書かれているためRubyをインストールする必要があります。こういった要望はなかなかPRにすることはできません。

そして自分のDockerイメージを作った

というわけでこのストレスを解消すべく自分でAndroidアプリのビルドができるDockerイメージを作りました。

作ったイメージはdocker hubに公開したので、試してみたいという方はどうぞ

https://hub.docker.com/r/tomorrowkey/wercker-container-android/

DockerfileもGitHubに公開しました。

github.com

できるだけ最新のものにアップデートしていきますしそういったPRも大歓迎ですが、ベストエフォートなのであしからず。そこでストレスが溜まってきたら自分のイメージを作るいいタイミングだと思います。私のリポジトリをforkしてもいいですし、一から作るのもDockerを理解することができると思うのでおすすめです。

メモ

以下、イメージを作るにあたってどう解決したかメモを残しておきます。

OS

FROM ubuntu:14.04

ベースはAndroidのビルド環境によく使われるUbuntuにした。

Oracle Java8のインストール

# Java8 installation
RUN \
  apt-get install -y software-properties-common curl && \
  add-apt-repository -y ppa:webupd8team/java && \
  apt-get update -y && \
  echo oracle-java8-installer shared/accepted-oracle-license-v1-1 select true | debconf-set-selections && \
  apt-get install -y oracle-java8-installer

~~oracle-javaのインストールはapt-getに新しくリポジトリを追加することでできると知った。~~

How To Install Oracle Java 8 In Debian Via Repository [JDK8] ~ Web Upd8: Ubuntu / Linux blog

~~リポジトリ追加したらapt-get updateしてインストール可能なソフトウェアの更新が必要なところに注意~~

~~echo oracle-java8-installer shared/accepted-oracle-license-v1-1 select true | debconf-set-selectionsと書かれているところは使用許諾の同意に必要。~~

Docker上でOracle Javaの実行はライセンス違反の可能性があるとの情報を得たのでOpen JDKを使うように修正しました。

Dockerコンテナ上でのJavaの実行はライセンス違反なのか？

RUN \
  apt-get install -y software-properties-common curl && \
  add-apt-repository -y ppa:openjdk-r/ppa && \
    apt-get update && \
    apt-get install -y openjdk-8-jdk

OpenJDK8もppaの追加が必要なので、add-apt-repositoryを使ってインストール。以前OpenJDKを使ったときにビルドできないなどの不具合があった気がしたが、いまのところ問題なさそうなのでしばらくこれでやってみようと思います。

Android SDKのインストール

# Android SDK Installation
ENV ANDROID_SDK_REVISION r24.4.1
RUN \
  cd /usr/local && \
  curl -L -O "https://dl.google.com/android/android-sdk_$ANDROID_SDK_REVISION-linux.tgz" && \
  tar -xf "android-sdk_$ANDROID_SDK_REVISION-linux.tgz" && \
  rm "/usr/local/android-sdk_$ANDROID_SDK_REVISION-linux.tgz"
RUN apt-get install -y lib32z1 lib32gcc1

Android SDKのインストールはアーカイブをダウンロードして、配置すればよいと思っていたが、aaptが使うパッケージが足りなかったみたいなので、追加でlib32z1とlib32gcc1をインストールしている。実際にCIでビルドしようと思っていたアプリをビルドしてみたらaaptがエラーを吐いていたので何か足りないんだなと分かった。あとは適当に調べてパッケージをインストールした。

androidコマンドがなくなる

RUN echo y | android update sdk --no-ui --force --all --filter "tools"
RUN echo y | android update sdk --no-ui --force --all --filter "platform-tools"

toolsとplatform-toolsを同時にインストールしようとしたが、そしたらandroidコマンドがなくなるという不具合に出会った。別にインストールすると問題なかった。

Rubyのインストール

# Ruby installation
RUN add-apt-repository -y ppa:brightbox/ruby-ng && apt-get update && apt-get install ruby

ビルド終わった後にSlackで通知するようにしているのだが、そのプラグインにRubyが必要なのでインストールしている。当初はrbenvを使ってRubyをインストールするように実装してみたが、rbenvはexportで環境変数を設定しようとする。Dockerではビルド中にexportしても無視されてしまうので、素直にrbenvを使うことができない。ではDockerで環境変数を設定するにはどうするかというとENVを使わなければならない。どうにかスクリプトに書き込むことでrbenvを使うことができるようになったが、CI上ではパスが通らなくて調査困難で諦めた。

Rubyのインストールも新しくリポジトリを追加しないといけなかったので、追加してる。

Ruby packages for Ubuntu - Brightbox Cloud

apt-add-repository vs add-apt-repository

リポジトリの追加するコマンドはapt-add-repositoryとadd-apt-repositoryがあるみたいで、どう違うか調べた。どちらも一緒らしいので、add-apt-repositoryを使うように揃えた。

Dockerコマンドとか

docker-machineの起動

docker-machine start default

Dockerfileのビルド

docker build .

イメージの列挙

docker images -a

イメージの起動

docker run -it <IMAGE_ID>

コンテナの列挙

docker ps -a

コンテナの停止

docker rm <CONTAINER_ID>

全コンテナの停止

docker ps -aq | xargs docker rm

ネットワークが繋がらなくなる

ルノアールにてdocker buildしようとしたらネットワークが不通になることに少しだけハマった。詳しくはよくわからないが、接続するネットワークが変わったことが原因っぽい。docker-machine restartで再起動すると治った。