Bluemix ContainerでMeCab入りJupyter Notebookを起動してみる
投稿者:大島

今回は「Bluemix Containerを使ってJupyter NotebookをBluemix上で起動してみる」という記事の第2弾になります。
前回利用した、Jupyter NotebookコンテナーにMeCabを導入し、ついでにJupyterの初期パスワード設定とコンテナー上で利用できるsudoユーザも一緒も含めてコンテナーを作成する手順をご紹介したいと思います。
Dockerfile
今回作成したDockerfileは以下の通りになります。
ベースとなるDockerfileはJupyterの公式Dockerfileを利用しております
・Dockerfile
# Copyright (c) Jupyter Development Team. # Distributed under the terms of the Modified BSD License. FROM jupyter/scipy-notebook MAINTAINER Jupyter Project <jupyter@googlegroups.com> USER root # Create user RUN mkdir /home/ml RUN useradd -b /home/ml -G sudo,root -m -s /bin/bash ml && echo 'ml:ml' | chpasswd RUN chown ml:ml /home/ml # install mecab RUN cd /tmp && \ git clone https://github.com/taku910/mecab.git RUN cd /tmp/mecab/mecab && \ ./configure --enable-utf8-only && \ make && \ make install RUN echo '/usr/local/lib' >> /etc/ld.so.conf.d/local.conf && \ ldconfig && \ echo 'export LD_LIBRARY_PATH="/usr/local/lib:$LD_LIBRARY_PATH"' >> ~/.bashrc && \ . ~/.bashrc && \ cd /tmp/mecab/mecab-ipadic && \ ./configure --with-charset=utf8 && \ make && \ make install && \ pip install mecab-python3 # R pre-requisites RUN apt-get update && \ apt-get install -y --no-install-recommends \ fonts-dejavu \ gfortran \ gcc && apt-get clean && \ rm -rf /var/lib/apt/lists/* # Julia dependencies RUN echo "deb http://ppa.launchpad.net/staticfloat/juliareleases/ubuntu trusty main" > /etc/apt/sources.list.d/julia.list && \ apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 3D3D3ACC && \ apt-get update && \ apt-get install -y --no-install-recommends \ julia \ libnettle4 && apt-get clean && \ rm -rf /var/lib/apt/lists/* USER $NB_USER # R packages including IRKernel which gets installed globally. RUN conda config --system --add channels r && \ conda install --quiet --yes \ 'rpy2=2.8*' \ 'r-base=3.3.2' \ 'r-irkernel=0.7*' \ 'r-plyr=1.8*' \ 'r-devtools=1.12*' \ 'r-tidyverse=1.0*' \ 'r-shiny=0.14*' \ 'r-rmarkdown=1.2*' \ 'r-forecast=7.3*' \ 'r-rsqlite=1.1*' \ 'r-reshape2=1.4*' \ 'r-nycflights13=0.2*' \ 'r-caret=6.0*' \ 'r-rcurl=1.95*' \ 'r-crayon=1.3*' \ 'r-randomforest=4.6*' && conda clean -tipsy # Install IJulia packages as jovyan and then move the kernelspec out # to the system share location. Avoids problems with runtime UID change not # taking effect properly on the .local folder in the jovyan home dir. RUN julia -e 'Pkg.add("IJulia")' && \ mv $HOME/.local/share/jupyter/kernels/julia* $CONDA_DIR/share/jupyter/kernels/ && \ chmod -R go+rx $CONDA_DIR/share/jupyter && \ rm -rf $HOME/.local # Show Julia where conda libraries are # Add essential packages RUN echo "push!(Libdl.DL_LOAD_PATH, \"$CONDA_DIR/lib\")" > /home/$NB_USER/.juliarc.jl && \ julia -e 'Pkg.add("Gadfly")' && julia -e 'Pkg.add("RDatasets")' && julia -F -e 'Pkg.add("HDF5")' # Precompile Julia pakcages RUN julia -e 'using IJulia' && julia -e 'using Gadfly' && julia -e 'using RDatasets'&& julia -e 'using HDF5' # default password(zaq12wsx) for jupyter RUN jupyter notebook --generate-config && \ sed -i "s/#c.NotebookApp.token = '<generated>'/c.NotebookApp.token = 'zaq12wsx'/" /home/jovyan/.jupyter/jupyter_notebook_config.py
mecab導入部分は以下の通りです。
「https://github.com/taku910/mecab.git」からgitコマンドを利用してmecabを「/tmp」に展開、インストールします。
「/etc/ld.so.conf.d/local.conf」と「.bashrc」にPATH設定を行った後、MeCab用辞書「mecab-ipadic」のインストールをします。
最後にpipコマンドを使って「mecab-python3」をインストールするとJupyter Notebook上で利用する事ができます。
# install mecab RUN cd /tmp && \ git clone https://github.com/taku910/mecab.git RUN cd /tmp/mecab/mecab && \ ./configure --enable-utf8-only && \ make && \ make install RUN echo '/usr/local/lib' >> /etc/ld.so.conf.d/local.conf && \ ldconfig && \ echo 'export LD_LIBRARY_PATH="/usr/local/lib:$LD_LIBRARY_PATH"' >> ~/.bashrc && \ . ~/.bashrc && \ cd /tmp/mecab/mecab-ipadic && \ ./configure --with-charset=utf8 && \ make && \ make install && \ pip install mecab-python3
コンテナー上でsudoを利用できるユーザ(ml)の作成については下記のQiita記事を参考に作成致しました
http://qiita.com/kakkyz81/items/9ae90c4d28490dc09d6d
# Create user RUN mkdir /home/ml RUN useradd -b /home/ml -G sudo,root -m -s /bin/bash ml && echo 'ml:ml' | chpasswd RUN chown ml:ml /home/ml
Jupyterの初期パスワード設定方法については公式ドキュメントを確認し、configファイルを「sed」コマンドを利用して書き換えるようにしました。
現状は「zaq12wsx」と設定しておりますが、変更したい場合は「’<設定したいパスワード>’/” /home/jovyan/.jupyter」を編集して下さい
# default password(zaq12wsx) for jupyter RUN jupyter notebook --generate-config && \ sed -i "s/#c.NotebookApp.token = '<generated>'/c.NotebookApp.token = 'zaq12wsx'/" /home/jovyan/.jupyter/jupyter_notebook_config.py
Dockerfileの説明は以上です。
DockerfileをBuildしてイメージを作成する
DockerがインストールされたPCに上記のDockerファイルを保存してください。
保存が完了したら以下のコマンドを実行します。
※Macでの実行例
# cd /<Dockerfileが保存されたディレクトリへ移動 # docker build -t jupyter/jupyter-mecab .
イメージの作成が完了したら、前回の記事(「Bluemixへコンテナーイメージをアップロード」を参照)を参考にBluemixのリポジトリにアップロードして下さい。
実際に使ってみる
前回の記事を参考にアップロードしたイメージからBluemix上にコンテナーを作成してください。
作成完了後、Jupyterにアクセスします。Dockerfileに記載したパスワード(上記の場合はzaq12wsx)を入力して、正常にログインできるかと思います。
ログインできたら、新しいnotebookを作成します。
以下のMeCabのサンプルコードを入力して実行してみてください。
何もせずにMeCabが直ぐ利用できると思います。
import sys import MeCab m = MeCab.Tagger ("-Ochasen") print(m.parse ("今日も元気に仕事するぞ"))