はじめに
Livebook で Python が実行できるようになりました（試験導入ですが）
それだけでなく、 Elixir で定義した変数を Python で使ったり、 Python で定義した変数を Elixir で使ったり、外部ファイルや通信を介したりすることなく、シームレスにデータのやり取りをすることが可能です
前回の記事では数値や文字列、マップ、リストなどの基本的な変数について、 Elixir と Python 間で連携しました
今回の記事はその発展形として、画像データを Elixir 、 Python 間で連携します
Elixir は Evision 、 Image で画像を扱います
Python は OpenCV 、 Pillow で画像を扱います
Evision 、 Image 、 OpenCV 、 Pillow の画像データを相互変換することで、Elixir で分散処理した先のノードで Python が画像処理するなど、様々な応用が考えられます
実装したノートブックはこちら
セットアップ
Livebook のセットアップセルをクリックすると、左下に “+ Python” ボタンが表示されます
“+ Python” ボタンをクリックすると、セットアップセルに Python セル用の設定が自動的に追加されます
上部、 Elixir 側のセットアップセルに以下のコードを入力します
Mix.install([
{:pythonx, "~> 0.4.2"},
{:kino_pythonx, "~> 0.1.0"},
{:evision, "~> 0.2.13"},
{:image, "~> 0.59.3"}
])
下部、 Python 側のセットアップせるに以下のコードを入力します
[project]
name = "project"
version = "0.0.0"
requires-python = "==3.13.*"
dependencies = [
"opencv-python == 4.11.*",
"pillow == 11.2.*"
]
これにより、 Elixir 、 Python でそれぞれ利用する画像処理パッケージがインストールされました
OpenCV to Evision
まずは OpenCV の画像データを Evision の画像データに変換しましょう
Python セルで Python のパッケージを読み込みます
# Python
import io
import cv2
import numpy as np
from PIL import Image
Python セルで Numpy を使い、 200 x 300 の青い画像を生成します
# Python
img = np.zeros((200, 300, 3), np.uint8)
img[:,:,0] = 255
img
実行結果
array([[[255, 0, 0],
[255, 0, 0],
[255, 0, 0],
...,
[255, 0, 0],
[255, 0, 0],
[255, 0, 0]]], shape=(200, 300, 3), dtype=uint8)
このままだとただの Numpy 配列としてしか表示されないので、 Pillow の画像に変換します
# Python
Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
すると、 Jupyter と同じように画像が表示されます
では、 Numpy 配列を Elixir に持っていきましょう
そのままでは Elixir で扱えないため、先に配列に変換します
# Python
l_img = img.tolist()
配列をデコードして Nx のテンソル、 Evision の行列に順次変換することで、画像を表示できます
# Elixir
l_img
|> Pythonx.decode()
|> Nx.tensor(type: :u8)
|> Evision.Mat.from_nx_2d()
実行結果
しかし、この方法では 200 x 300 x 3 の配列をループしてデコードしている関係上、処理に 10 秒ほどかかってしまいます
もっと高速に Python から Elixir にデータを持っていくため、バイト配列を利用します
# Python
b_img = img.tobytes()
b_img
実行結果
b'\xff\x00\x00\xff\x00\x00\xff\x00\x00\xff\x00\x00\xff\x00\x00\xff\x00\x00\xff\x00\x00\xff\x00\x00\xff\x00\x00\xff\x00\x00\xff\x00\x00\xff\x00\x00\xff\x00\x00\xff...'
バイト配列をデコードし、バイナリから Evision 行列に変換します
# Elixir
ex_img =
b_img
|> Pythonx.decode()
|> Evision.Mat.from_binary(:u8, 200, 300, 3)
実行結果
この方法では処理に数ミリ秒しかかかりません
Evision to OpenCV
今度は Evision の画像（行列）を OpenCV の画像（Numpy 配列）に変換します
# Elixir
sky_img =
[255, 255, 0]
|> Nx.tensor(type: :u8)
|> Nx.broadcast({200, 300, 3})
|> Evision.Mat.from_nx_2d()
実行結果
先ほどと同じように、バイト配列として連携します
# Elixir
py_b_img = Evision.Mat.to_binary(sky_img)
実行結果
255, 255, 0, 255, 255, 0, 255, 255, 0, 255, 255, 0, 255, 255, 0, 255, 255, 0, 255, 255, 0, 255,
255, 0, 255, 255, 0, 255, 255, 0, 255, 255, 0, 255, 255, 0, 255, 255, 0, 255, 255, 0, 255, 255, 0,
255, 255, 0, 255, 255, ...>>
# Python
py_img = np.frombuffer(py_b_img, dtype=np.uint8)
py_img = np.reshape(py_img, [200, 300, 3])
py_img
実行結果
array([[[255, 255, 0],
[255, 255, 0],
[255, 255, 0],
...,
[255, 255, 0],
[255, 255, 0],
[255, 255, 0]]], shape=(200, 300, 3), dtype=uint8)
変換した結果を画像として表示します
# Python
Image.fromarray(cv2.cvtColor(py_img, cv2.COLOR_BGR2RGB))
実行結果
Pillow to Evision
次は Pillow の画像を Evision の画像に変換します
# Python
pil_img = Image.new("RGB", (300, 200), (0, 255, 0))
pil_img
実行結果
PNG 形式のバイナリに変換します
# Python
pil_b_img = io.BytesIO()
pil_img.save(pil_b_img, format='PNG')
pil_b_img = pil_b_img.getvalue()
pil_b_img
実行結果
b'\x89PNG\r\n\x1a\n\x00\x00\x00\rIHDR\x00\x00\x01,\x00\x00\x00\xc8\x08\x02\x00\x00\x00\xdd\xbdK\x02\x00\x00\x02BIDATx\x9c\xed\xd31\x01\x00 ...'
バイナリを Pythonx.decode でデコードした後、 Evision.imdecode で画像データとして読み込みます
# Elixir
ex_pil_img =
pil_b_img
|> Pythonx.decode()
|> Evision.imdecode(Evision.Constant.cv_IMREAD_COLOR())
実行結果
Evision to Pillow
逆方向も同様にバイナリを介して連携します
# Elixir
png_img = Evision.imencode(".png", ex_pil_img)
実行結果
b'\x89PNG\r\n\x1a\n\x00\x00\x00\rIHDR\x00\x00\x01,\x00\x00\x00\xc8\x08\x02\x00\x00\x00\xdd\xbdK\x02\x00\x00\x02BIDATx\x9c\xed\xd31\x01\x00 ...'
# Python
Image.open(io.BytesIO(png_img))
実行結果
Pillow to Image
Elixir の Image パッケージの画像データにも変換してみましょう
# Python
pil_yellow_img = Image.new("RGB", (300, 200), (255, 255, 0))
pil_yellow_img
実行結果
今までと同じようにバイナリに変換します
# Python
pil_yb_img = io.BytesIO()
pil_yellow_img.save(pil_yb_img, format='PNG')
pil_yb_img = pil_yb_img.getvalue()
pil_yb_img
実行結果
b'\x89PNG\r\n\x1a\n\x00\x00\x00\rIHDR\x00\x00\x01,\x00\x00\x00\xc8\x08\x02\x00\x00\x00\xdd\xbdK\x02\x00\x00\x02BIDATx\x9c\xed\xd31\x01\x00 ...'
バイナリからデコードし、 Image に変換します
# Elixir
ex_yellow_img =
pil_yb_img
|> Pythonx.decode()
|> Image.from_binary!()
実行結果
Image to Pillow
逆も同様です
# Elixir
ex_yb_img = Image.write!(ex_yellow_img, :memory, suffix: ".png")
# Python
Image.open(io.BytesIO(ex_yb_img))
実行結果
まとめ
バイナリを経由することで、膨大な行列である画像データの連携も高速に行うことができました
Elixir の強みと Python の強みを組み合わせることで、様々な画像処理ができそうです
Views: 0
