Technical Blog テクニカルブログ
  1. HOME
  2. テクニカルブログ
  3. Bluemix ContainerでMeCab入りJupyter Notebookを起動してみる

Bluemix ContainerでMeCab入りJupyter Notebookを起動してみる

投稿者:大島

Bluemix ContainerでMeCab入りJupyter Notebookを起動してみる

今回は「Bluemix Containerを使ってJupyter NotebookをBluemix上で起動してみる」という記事の第2弾になります。

前回利用した、Jupyter NotebookコンテナーにMeCabを導入し、ついでにJupyterの初期パスワード設定とコンテナー上で利用できるsudoユーザも一緒も含めてコンテナーを作成する手順をご紹介したいと思います。

Dockerfile

今回作成したDockerfileは以下の通りになります。
ベースとなるDockerfileはJupyterの公式Dockerfileを利用しております

・Dockerfile

# Copyright (c) Jupyter Development Team.
# Distributed under the terms of the Modified BSD License.
FROM jupyter/scipy-notebook

MAINTAINER Jupyter Project <jupyter@googlegroups.com>

USER root

# Create user
RUN mkdir /home/ml
RUN useradd -b /home/ml -G sudo,root -m -s /bin/bash ml && echo 'ml:ml' | chpasswd
RUN chown ml:ml /home/ml

# install mecab
RUN cd /tmp && \
    git clone https://github.com/taku910/mecab.git
RUN cd /tmp/mecab/mecab && \
    ./configure --enable-utf8-only && \
    make && \
    make install
RUN echo '/usr/local/lib' >> /etc/ld.so.conf.d/local.conf && \
    ldconfig && \
    echo 'export LD_LIBRARY_PATH="/usr/local/lib:$LD_LIBRARY_PATH"' >> ~/.bashrc && \
    . ~/.bashrc && \
    cd /tmp/mecab/mecab-ipadic && \
    ./configure --with-charset=utf8 && \
    make && \
    make install && \
    pip install mecab-python3

# R pre-requisites
RUN apt-get update && \
    apt-get install -y --no-install-recommends \
    fonts-dejavu \
    gfortran \
    gcc && apt-get clean && \
    rm -rf /var/lib/apt/lists/*

# Julia dependencies
RUN echo "deb http://ppa.launchpad.net/staticfloat/juliareleases/ubuntu trusty main" > /etc/apt/sources.list.d/julia.list && \
    apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 3D3D3ACC && \
    apt-get update && \
    apt-get install -y --no-install-recommends \
    julia \
    libnettle4 && apt-get clean && \
    rm -rf /var/lib/apt/lists/*

USER $NB_USER

# R packages including IRKernel which gets installed globally.
RUN conda config --system --add channels r && \
    conda install --quiet --yes \
    'rpy2=2.8*' \
    'r-base=3.3.2' \
    'r-irkernel=0.7*' \
    'r-plyr=1.8*' \
    'r-devtools=1.12*' \
    'r-tidyverse=1.0*' \
    'r-shiny=0.14*' \
    'r-rmarkdown=1.2*' \
    'r-forecast=7.3*' \
    'r-rsqlite=1.1*' \
    'r-reshape2=1.4*' \
    'r-nycflights13=0.2*' \
    'r-caret=6.0*' \
    'r-rcurl=1.95*' \
    'r-crayon=1.3*' \
    'r-randomforest=4.6*' && conda clean -tipsy

# Install IJulia packages as jovyan and then move the kernelspec out
# to the system share location. Avoids problems with runtime UID change not
# taking effect properly on the .local folder in the jovyan home dir.
RUN julia -e 'Pkg.add("IJulia")' && \
    mv $HOME/.local/share/jupyter/kernels/julia* $CONDA_DIR/share/jupyter/kernels/ && \
    chmod -R go+rx $CONDA_DIR/share/jupyter && \
    rm -rf $HOME/.local

# Show Julia where conda libraries are
# Add essential packages
RUN echo "push!(Libdl.DL_LOAD_PATH, \"$CONDA_DIR/lib\")" > /home/$NB_USER/.juliarc.jl && \
    julia -e 'Pkg.add("Gadfly")' && julia -e 'Pkg.add("RDatasets")' && julia -F -e 'Pkg.add("HDF5")'

# Precompile Julia pakcages
RUN julia -e 'using IJulia' && julia -e 'using Gadfly' && julia -e 'using RDatasets'&& julia -e 'using HDF5'

# default password(zaq12wsx) for jupyter
RUN jupyter notebook --generate-config && \
    sed -i "s/#c.NotebookApp.token = '<generated>'/c.NotebookApp.token = 'zaq12wsx'/" /home/jovyan/.jupyter/jupyter_notebook_config.py

mecab導入部分は以下の通りです。
https://github.com/taku910/mecab.git」からgitコマンドを利用してmecabを「/tmp」に展開、インストールします。
「/etc/ld.so.conf.d/local.conf」と「.bashrc」にPATH設定を行った後、MeCab用辞書「mecab-ipadic」のインストールをします。
最後にpipコマンドを使って「mecab-python3」をインストールするとJupyter Notebook上で利用する事ができます。

# install mecab
RUN cd /tmp && \
    git clone https://github.com/taku910/mecab.git
RUN cd /tmp/mecab/mecab && \
    ./configure --enable-utf8-only && \
    make && \
    make install
RUN echo '/usr/local/lib' >> /etc/ld.so.conf.d/local.conf && \
    ldconfig && \
    echo 'export LD_LIBRARY_PATH="/usr/local/lib:$LD_LIBRARY_PATH"' >> ~/.bashrc && \
    . ~/.bashrc && \
    cd /tmp/mecab/mecab-ipadic && \
    ./configure --with-charset=utf8 && \
    make && \
    make install && \
    pip install mecab-python3

コンテナー上でsudoを利用できるユーザ(ml)の作成については下記のQiita記事を参考に作成致しました
http://qiita.com/kakkyz81/items/9ae90c4d28490dc09d6d

# Create user
RUN mkdir /home/ml
RUN useradd -b /home/ml -G sudo,root -m -s /bin/bash ml && echo 'ml:ml' | chpasswd
RUN chown ml:ml /home/ml

Jupyterの初期パスワード設定方法については公式ドキュメントを確認し、configファイルを「sed」コマンドを利用して書き換えるようにしました。
現状は「zaq12wsx」と設定しておりますが、変更したい場合は「’<設定したいパスワード>’/” /home/jovyan/.jupyter」を編集して下さい

公式ドキュメント

# default password(zaq12wsx) for jupyter
RUN jupyter notebook --generate-config && \
    sed -i "s/#c.NotebookApp.token = '<generated>'/c.NotebookApp.token = 'zaq12wsx'/" /home/jovyan/.jupyter/jupyter_notebook_config.py

Dockerfileの説明は以上です。

DockerfileをBuildしてイメージを作成する

DockerがインストールされたPCに上記のDockerファイルを保存してください。
保存が完了したら以下のコマンドを実行します。

※Macでの実行例

# cd /<Dockerfileが保存されたディレクトリへ移動
# docker build -t jupyter/jupyter-mecab .

イメージの作成が完了したら、前回の記事(「Bluemixへコンテナーイメージをアップロード」を参照)を参考にBluemixのリポジトリにアップロードして下さい。

 
 

実際に使ってみる

前回の記事を参考にアップロードしたイメージからBluemix上にコンテナーを作成してください。
作成完了後、Jupyterにアクセスします。Dockerfileに記載したパスワード(上記の場合はzaq12wsx)を入力して、正常にログインできるかと思います。

2017-06-23-01.JPG

ログインできたら、新しいnotebookを作成します。

2017-06-23-02.JPG

以下のMeCabのサンプルコードを入力して実行してみてください。
何もせずにMeCabが直ぐ利用できると思います。

import sys
import MeCab
m = MeCab.Tagger ("-Ochasen")
print(m.parse ("今日も元気に仕事するぞ"))

2017-06-23-03.JPG

ページのトップへ