Pythonのライブラリ、パッケージ、モジュールについて

ここではモジュール、パッケージ、ライブラリといったpythonのファイルの構造をわかりやすく説明していきたいと思います。

１．モジュール

ライブラリという言葉を調べると、モジュール、パッケージという言葉が出てきたりして詰まってしまうことがあります。
ここではモジュールという言葉を説明します。

pythonはプログラムを書いたテキスト（スクリプト）を.pyという形式で保存します。
この１つ１つがモジュールです。
一般には.pyファイルには関数やクラスが記載されています。

代表的なモジュールos

osはオペレーティングシステムに関する機能をもったモジュールです。
pythonをインストールしたときにたくさん入るファイルのうち
「os.py」
というファイルにかかれています。
このosはpythonを起動した時から使えます。
いくつかosを使って関数を呼び出してみましょう。

import os

osの機能をインポートします。
これでosの機能が使えるようになります。

os.getcwd()

他にも

などができます。

os.getcwd()                                                            
# '/Users/programming/Desktop'
os.mkdir('test')
# testというフォルダを作成                                                       
os.chdir('test')       
# 作成したtestフォルダに移動                                                
os.getcwd()                                                            

となります。

このosのように
関数などの機能を含んだ.pyファイルを
モジュールとよびます。

２．標準ライブラリ

ライブラリとはいろいろ便利な機能が入っているかたまりです。

library（英語） : 図書館、書庫

という意味ですが、
ここでは図書館というよりは書庫に近いイメージです。

モジュールを本として、関数やクラスをその本の１ページ１ページだとすると、
ライブラリは本棚にあたります。

前項の「os」のように、
pythonをインストールすると最初から使える機能がたくさんあります。

これらを標準ライブラリといいます。
自分の家に最初からある本棚のようなものですね。

pythonの標準ライブラリはドキュメントのページにまとめられています。

pythonの標準ライブラリの一覧　（ドキュメントのページ）

３．外部ライブラリ

pythonにもともと入っていないものです。
「サードパーティによるライブラリ」
などと言われます。
インストールしたばかりのpythonだとimportできません。

データ解析によく使うものを紹介しながら説明します。

① numpy（数値計算ライブラリ）

数値計算でよく使用されるライブラリです。
ベクトル計算、行列計算といった数値計算を行うモジュール（.pyファイル）が入っており、
座標計算や機械学習、ディープラーニングにも使用されます。

pythonをインストールしたばかりの頃はnumpyは使用できません。

numpyはターミナルで

としてインストールできます。

pipが使えないのであればインストールする必要があります。

⇒ pipの導入方法

ちなみにpython導入時にanacondaをインストールするとまとめてインストールされています。

「外部ライブラリをインストール」する

というのは、さきほどの例えで続けると

「同系統の種類の本(モジュール）の入った本棚（ライブラリ）を買ってくる」
ようなものです。

このまま本棚においていては使用できないのでimportする必要があります。

numpyの行列計算の例を出します。

[1, 2, 3]というベクトルをaに代入し、
ベクトルの長さを求めます。

import numpy as np
#ライブラリ（本棚）をnpという名前で作業スペースに持ってくる
a = np.array([1, 2, 3])
# ベクトルをaに代入
print(np.linalg.norm(a))
#npライブラリ（本棚）のlinalgモジュール（本）のnormという関数（ページ）で長さを計算

 

上ではライブラリnumpyをインポートしていますが、
モジュールlinalgをインポートする事もできます。

from numpy import linalg
a = [1, 2, 3]
linalg.norm(a)

※ちなみにここではimportの説明のためにこのような書き方をしていますが、
ただのリスト[1, 2, 3]にnumpyの関数を無理に使用するのは推奨はできません。

この流れは以下のようなイメージです

 

同じ意味を
import —-
の形式でも書けます。

import numpy.linalg 
a = [1, 2, 3]
numpy.linalg.norm(a)

ここでは
numpy.linalg
と明示する必要があります。

さらに関数だけをインポートすることもできます。

from numpy.linalg import norm
a = [1, 2, 3]
norm(a)

として計算もできます。

 

from ライブラリ import *

ワイルドカード *を使うと、一気にインポートできます。

from numpy import *
a = [1, 2, 3]
linalg.norm(a)

とlinalgが使えます。

 

「from ライブラリ import *」　は非推奨
import *　をすると、ライブラリのモジュールを多くつかえるようになりますが、
どのライブラリからのものかわからなくなります。

そのためpythonでこの書き方は推奨されていません。

と明示して使用するようにしましょう。

 

② matplotlib（グラフ描画のライブラリ）

もう一つ
グラフを書くライブラリ「matplotlib」を例にして説明します。

matplotlibも同様に外部ライブラリのため、

でインストールする必要があります。

matplotlibの中の
pyplot.pyというモジュールの中に

scatter() という点をプロットする関数と
show()　　というグラフを書く関数があります。

matplotlibのフォルダ構造
 

 

これらの関数を使って

x = [1,2,3,4,5,6]
y = [3,4,5,6,7,8]
のグラフを書くときは

import matplotlib.pyplot as plt
#maplotlibというライブラリのpyplotというモジュールをpltとして使用する
x = [1,2,3,4,5,6]
y = [3,4,5,6,7,8]
plt.scatter(x, y)
#plt（matplotlib.pyplot)というモジュール内のscatterという関数を利用してグラフにプロット
plt.show()
#pltのshow()をつかってグラフを描く

とするとグラフが描画されます

次のような記述でも機能します。

from matplotlib import pyplot as plt

x = [1,2,3,4,5,6]
y = [3,4,5,6,7,8]

plt.scatter(x, y)
plt.show()

numpy.linalgと同じようにpyplotの関数をimportしても機能します。

from matplotlib.pyplot import scatter
from matplotlib.pyplot import show

x = [1,2,3,4,5,6]
y = [3,4,5,6,7,8]

scatter(x, y)
show()

関数単体で持ってくるのは可能ではありますが、numpyもpyplotも関数一つずつを引っ張ってくるとimportの行が無限に長くなってしまいます。
本のページをいっぱい切って持ってくるとどこからとったかわからなくなるのと同じです。

importは機能や出どころがわかりやすいようにしましょう。

４．パッケージ

１つの目的で機能を役割分担させ、複数の.pyを作ることがあります。これをひとくくりにしたものがパッケージです。
ライブラリと同じ意味で用いられていることもあります。

本のシリーズのようなものです。

たとえば
自分でなにかを解析したいときに、

• データ構造を書いた.pyファイル
• データ計算用の.pyファイル
• データ視覚化の.pyファイル

を分けて親フォルダにいれる。
 
という使い方をすることがあります。

これらのまとまりがパッケージです。

すべてのファイルが

ライブラリ ＞　パッケージ　＞　モジュール　＞　関数
の構造をとっているわけではありません。

ライブラリ ＞　モジュール　＞　関数
の構造のものもたくさんあります。

例えばnumpyのlinalgは

numpyフォルダ　＞　linalgフォルダ ＞ linalg.py
 

となっていますが、matplotlibのpyplotは

matplotlibフォルダ ＞ pyplot.py
 

という構造をとります。
numpyとmatplotlibはどちらもライブラリと呼ばれます。

５．importの細かい話（参考程度）

ちょっと込み入った話になります。

import numpy as np
a = np.array([1, 2, 3])
print(np.linalg.norm(a))

は機能しますが、

import matplotlib
x = [1, 2, 3]
y = [4, 5, 6]
matplotlib.pyplot.scatter(x, y)

ではエラーになります。

ちなみに

import matplotlib.pyplot
x = [1, 2, 3]
y = [4, 5, 6]
matplotlib.pyplot.scatter(x, y)

は機能します。

同じようにライブラリをインポートしているのになんででしょう。

ライブラリをimportすると読み込まれる__init__.py

「import matplotlib」ではpyplotは使えない

とすると、ライブラリのフォルダ内の
__init__.py
というファイルが読み込まれます。

numpyの__init__.pyには

「同じフォルダからlinalgをインポートする」
という記述が入っています。

一方
matplotlibのフォルダ内の__init__.pyで
import pyplot
はありません。

そのため、
numpyでは初めからnumpy.linalgのモジュールは使用できますが、
matplotlibでは
matplotlib.pyplotを明示してインポートしないと使用できない
というわけです。

numpyのlinalgフォルダとlinalg.py

もう一つ細かい点を見ると、

matplotlibではmatplotlibのフォルダの下にpyplotがあり、scatterなどの関数があります

numpyでlinalg.pyは
numpyのlinalgというフォルダの中にあります。

となっているわけです。

そのため、

from numpy.linalg.linalg import norm
a = [1, 2, 3]
norm(a)

としても機能します。

なぜ

import numpy as np
np.linalg.norm(a)

が機能するかというと

linalgフォルダの__init__.py
に

との記載があるからです。

numpyをインポート
↓
numpyの__init__.pyにlinalgをインポートするように書かれている
↓
linalgの__init__.pyに同フォルダの.linalgの関数をlinalg宣言なしに使えるように書かれている
↓
numpy.linalg.normが機能する

というわけです。

よく使うライブラリ、モジュールのインポートは

などです。

この辺をインポートするときはいちいちモジュールとの関係を意識せずに使っています。
それでも問題はありません。

６．importについての教材

importの構造を勉強したいのであれば

UdemyでのPython講座

「Python 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイルを学ぶ」

がおすすめです。
このシリーズの68.「importとas」(2021年8月現在）
でimportと__init__.pyの構造がわかりやすく述べられています。
これを理解することでライブラリ、モジュール、関数の位置関係がとてもわかりやすくなります。

プロのエンジニアなのに非エンジニアにここまでわかりやすく、短時間でレクチャーできるなんて素晴らしいですね。

この講義ではPython全般の機能に関しても非常に多岐にわたってわかりやすく解説されています。
Udemyはセールをやっている期間があるので、その時期にあたったら気軽に受講してみるのもよいと思います。

↓　外部リンク　UdemyのPython人気講座

現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル

 

いきなり大掛かりなWebアプリを作ろうしても尻込みしてしまいます。
本棚を完成させようとするようなものです。

１ページの関数でもとても有用だったりするので、少しずつ書いてみましょう。

 
 

補足：osに関して

ここから先は補足なので、ライブラリ、パッケージ、モジュールが大体わかったら読み飛ばしてもらってよいです。

os.pyの入ってるフォルダ

これらのモジュールは先程のosがあったフォルダに含まれている
.pyファイルに入っています。

os.pyがどこにあるかというと、

print(os)

で出力されます。私の場合は
‘/opt/anaconda3/lib/python3.7’
というフォルダの
os.py
というファイルに書かれています。

同じフォルダにあるファイルを表示します。

import os
print(os)

os.listdir('/opt/anaconda3/lib/python3.7/')
#os.listdir(フォルダ)でフォルダ内のファイルを出力

と無数のファイルがでてきます。
この中で.pyとなっているのが、標準ライブラリの中のモジュールです。

os.py, optparse.py, shutil.py
などよく使う機能があります

osの中身

標準ライブラリで説明したosモジュールですが、
os.pyの中には

def getcwd()
・
・

def chdir()
・
・

のような使用関数の定義が見当たりません。

これはos.pyをインポートした時点で
posixというモジュールを読み込んでおり、これを通じて
getcwd()
chdir()
などを使用しています。

posixですが、pythonのDocumentationページには

とあります。

ちなみにmacでは

import posix
posix.getcwd()

としても同じ結果が得られますが、
「直接インポートしてはいけません。」
と言われているので

import os
os.getcwd()

で使用するようにしましょう。

pythonのposixに関するドキュメント（外部リンク）