Bluemix ContainerでMeCab入りJupyter Notebookを起動してみる
投稿者:大島
今回は「Bluemix Containerを使ってJupyter NotebookをBluemix上で起動してみる」という記事の第2弾になります。
前回利用した、Jupyter NotebookコンテナーにMeCabを導入し、ついでにJupyterの初期パスワード設定とコンテナー上で利用できるsudoユーザも一緒も含めてコンテナーを作成する手順をご紹介したいと思います。
Dockerfile
今回作成したDockerfileは以下の通りになります。
ベースとなるDockerfileはJupyterの公式Dockerfileを利用しております
・Dockerfile
# Copyright (c) Jupyter Development Team.
# Distributed under the terms of the Modified BSD License.
FROM jupyter/scipy-notebook
MAINTAINER Jupyter Project <jupyter@googlegroups.com>
USER root
# Create user
RUN mkdir /home/ml
RUN useradd -b /home/ml -G sudo,root -m -s /bin/bash ml && echo 'ml:ml' | chpasswd
RUN chown ml:ml /home/ml
# install mecab
RUN cd /tmp && \
git clone https://github.com/taku910/mecab.git
RUN cd /tmp/mecab/mecab && \
./configure --enable-utf8-only && \
make && \
make install
RUN echo '/usr/local/lib' >> /etc/ld.so.conf.d/local.conf && \
ldconfig && \
echo 'export LD_LIBRARY_PATH="/usr/local/lib:$LD_LIBRARY_PATH"' >> ~/.bashrc && \
. ~/.bashrc && \
cd /tmp/mecab/mecab-ipadic && \
./configure --with-charset=utf8 && \
make && \
make install && \
pip install mecab-python3
# R pre-requisites
RUN apt-get update && \
apt-get install -y --no-install-recommends \
fonts-dejavu \
gfortran \
gcc && apt-get clean && \
rm -rf /var/lib/apt/lists/*
# Julia dependencies
RUN echo "deb http://ppa.launchpad.net/staticfloat/juliareleases/ubuntu trusty main" > /etc/apt/sources.list.d/julia.list && \
apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 3D3D3ACC && \
apt-get update && \
apt-get install -y --no-install-recommends \
julia \
libnettle4 && apt-get clean && \
rm -rf /var/lib/apt/lists/*
USER $NB_USER
# R packages including IRKernel which gets installed globally.
RUN conda config --system --add channels r && \
conda install --quiet --yes \
'rpy2=2.8*' \
'r-base=3.3.2' \
'r-irkernel=0.7*' \
'r-plyr=1.8*' \
'r-devtools=1.12*' \
'r-tidyverse=1.0*' \
'r-shiny=0.14*' \
'r-rmarkdown=1.2*' \
'r-forecast=7.3*' \
'r-rsqlite=1.1*' \
'r-reshape2=1.4*' \
'r-nycflights13=0.2*' \
'r-caret=6.0*' \
'r-rcurl=1.95*' \
'r-crayon=1.3*' \
'r-randomforest=4.6*' && conda clean -tipsy
# Install IJulia packages as jovyan and then move the kernelspec out
# to the system share location. Avoids problems with runtime UID change not
# taking effect properly on the .local folder in the jovyan home dir.
RUN julia -e 'Pkg.add("IJulia")' && \
mv $HOME/.local/share/jupyter/kernels/julia* $CONDA_DIR/share/jupyter/kernels/ && \
chmod -R go+rx $CONDA_DIR/share/jupyter && \
rm -rf $HOME/.local
# Show Julia where conda libraries are
# Add essential packages
RUN echo "push!(Libdl.DL_LOAD_PATH, \"$CONDA_DIR/lib\")" > /home/$NB_USER/.juliarc.jl && \
julia -e 'Pkg.add("Gadfly")' && julia -e 'Pkg.add("RDatasets")' && julia -F -e 'Pkg.add("HDF5")'
# Precompile Julia pakcages
RUN julia -e 'using IJulia' && julia -e 'using Gadfly' && julia -e 'using RDatasets'&& julia -e 'using HDF5'
# default password(zaq12wsx) for jupyter
RUN jupyter notebook --generate-config && \
sed -i "s/#c.NotebookApp.token = '<generated>'/c.NotebookApp.token = 'zaq12wsx'/" /home/jovyan/.jupyter/jupyter_notebook_config.py
mecab導入部分は以下の通りです。
「https://github.com/taku910/mecab.git」からgitコマンドを利用してmecabを「/tmp」に展開、インストールします。
「/etc/ld.so.conf.d/local.conf」と「.bashrc」にPATH設定を行った後、MeCab用辞書「mecab-ipadic」のインストールをします。
最後にpipコマンドを使って「mecab-python3」をインストールするとJupyter Notebook上で利用する事ができます。
# install mecab
RUN cd /tmp && \
git clone https://github.com/taku910/mecab.git
RUN cd /tmp/mecab/mecab && \
./configure --enable-utf8-only && \
make && \
make install
RUN echo '/usr/local/lib' >> /etc/ld.so.conf.d/local.conf && \
ldconfig && \
echo 'export LD_LIBRARY_PATH="/usr/local/lib:$LD_LIBRARY_PATH"' >> ~/.bashrc && \
. ~/.bashrc && \
cd /tmp/mecab/mecab-ipadic && \
./configure --with-charset=utf8 && \
make && \
make install && \
pip install mecab-python3
コンテナー上でsudoを利用できるユーザ(ml)の作成については下記のQiita記事を参考に作成致しました
http://qiita.com/kakkyz81/items/9ae90c4d28490dc09d6d
# Create user RUN mkdir /home/ml RUN useradd -b /home/ml -G sudo,root -m -s /bin/bash ml && echo 'ml:ml' | chpasswd RUN chown ml:ml /home/ml
Jupyterの初期パスワード設定方法については公式ドキュメントを確認し、configファイルを「sed」コマンドを利用して書き換えるようにしました。
現状は「zaq12wsx」と設定しておりますが、変更したい場合は「’<設定したいパスワード>’/” /home/jovyan/.jupyter」を編集して下さい
# default password(zaq12wsx) for jupyter
RUN jupyter notebook --generate-config && \
sed -i "s/#c.NotebookApp.token = '<generated>'/c.NotebookApp.token = 'zaq12wsx'/" /home/jovyan/.jupyter/jupyter_notebook_config.py
Dockerfileの説明は以上です。
DockerfileをBuildしてイメージを作成する
DockerがインストールされたPCに上記のDockerファイルを保存してください。
保存が完了したら以下のコマンドを実行します。
※Macでの実行例
# cd /<Dockerfileが保存されたディレクトリへ移動 # docker build -t jupyter/jupyter-mecab .
イメージの作成が完了したら、前回の記事(「Bluemixへコンテナーイメージをアップロード」を参照)を参考にBluemixのリポジトリにアップロードして下さい。
実際に使ってみる
前回の記事を参考にアップロードしたイメージからBluemix上にコンテナーを作成してください。
作成完了後、Jupyterにアクセスします。Dockerfileに記載したパスワード(上記の場合はzaq12wsx)を入力して、正常にログインできるかと思います。
ログインできたら、新しいnotebookを作成します。
以下のMeCabのサンプルコードを入力して実行してみてください。
何もせずにMeCabが直ぐ利用できると思います。
import sys import MeCab m = MeCab.Tagger ("-Ochasen") print(m.parse ("今日も元気に仕事するぞ"))




