ファイルをpythonで読み取る

ファイルから数字をいちいち読み出すのってめんどくさくないですか？

Pythonはファイルを読み書きするのがとても簡単なんだ。
法則にしたがってテキストから情報を読み出すのは簡単にできるよ。

こんにちは。整形外科医レオです。

Pythonの強みとして
「ファイルの読み書きがしやすい」
という点があります。
ここでは、Pythonを使ってテキストファイルから欲しい情報を抜き出すことを行います。

例として、エクセルの表からそれぞれのデータを取り出す方法を書きたいと思います。

以下のような表を題材にします。

これを
sample_data.csv
という名前でcsv形式で保存します。

csv形式はカンマ区切り形式といいます。
ファイルはエクセルで開くと表になりますが、テキストファイルで開くと項目がカンマで区切られているのがわかります。

エクセルでsample_data.csvを開いたもの

テキストエディタでsample_data.csvを開いたもの

ここからはこのcsvファイルを開いて、中のデータを抽出する方法を説明します。

import pandas as pd
df = pd.read_csv('sample_data.csv')

ファイルを開く

pythonのなかでは
open(‘ファイル名’, ‘モード’）
でファイルを開きます。
モードは読み取り、書き込み、読み書きがありますが、
読み取りは’r’です。

f = open('sample_data.csv', 'r')
#開いたファイルデータをfという変数に入れ、操作できるようにする

#処理を行うプログラム
#
#
#

f.close()
#ファイルを閉じる

処理が終わったら
f.close()
で閉じています。

さて、ここからファイルを読み取っていきます。

readline()で１行ずつファイルを読み取る

readline()
という方法を使うと１行ずつ書き出していきます。

f.readline()　　#1行書き出す
#'name,age,sex,height,weight\n'
f.readline()
#'A,25,male,181,81\n'
f.readline()
#'B,40,female,158,61\n'
・
・
f.readline()                                                                                
# 'J,41,male,176,85'
f.readline()                                                                                
# ''
f.readline()                                                                                
# ''
f.close()
# いったんファイルを閉じます

１行ずつファイルを読んでいきます。
最後にたどり着くと、ずっと空の行”をはき出します。

各値はカンマで区切られています。
ここで最後の 「\n」は改行を示します。

このreadline()を利用して、
年齢、性別などパラメータ別に分けます。

f = open('sample_data.csv', 'r')
header = f.readline()
#1行目をheaderという変数に入れる
header
#'name,age,sex,height,weight\n'

確認のためheaderと入力しています。ここでprint関数を使うと改行として表示されるので「\n」の存在がわからなくなるため注意が必要です。

print(header)
#name,age,sex,height,weight
#

header[:-1]
#'name,age,sex,height,weight'

[:-1]として最後の１文字を抜かすと改行記号が省けます。

parameters = header[:-1].split(',')
#改行以外をコンマで分けて、parametersという変数に入れる
print(parameters)
#['name', 'age', 'sex', 'height', 'weight']

sample_dic = {}
#空の辞書を用意する
for parameter in parameters:
    sample_dic[parameter] = []
#パラメータごとにからのリストとする。
line = f.readline()
#データの最初の１行読む
while line:
#以下の処置をlineが空になるまで続ける。空になったら終了。
    words = line[:-1].split(',')
    #wordsにlineの改行以外をコンマでわけてリストにして入れる。
    #データの１行目なら['A', '25', 'male', '181', '81']
    for i in range(len(parameters)):
    #wordsの長さだけ操作を行う。
        sample_dic[parameters[i]].append(words[i]) 
        #wordsのi+1番目を辞書の中の一致する位置のパラメータのリストに入れる    
    line = f.readline()
    #新たな行を読み込む
f.close()

print(sample_dic)

これで
sample_dic[パラメータ]
で各パラメータが取り出せます。

数字も文字も文字列ででてきますね。

ひと手間加えると変換できるよ。

数字を数字で入れたいのであれば
文字列を数字に変換してみましょう。
ここではtry, exceptを用います。

例えば

words = ['1', '2.3','a','4.5']
#wordsに数字と文字をごちゃまぜにして入れます。
output = []
for word in words:
    output.append(float(word))
    print(output)

とすると

‘a’という文字列になったとき小数点のfloat型に変換できずに止まってしまいます。
ここで

words = ['1', '2.3','a','4.5']
output = []
for word in words:
    try:
        output.append(float(word))
    except:
        output.append(word)
    print(output)

とtryで実行しようとしてエラーになると諦めてexceptに飛んでくれます。
最後まで処理ができます。

これをデータの入力に応用します。

while line:
    words = line[:-1].split(',')
    for i in range(len(parameters)):
        try:
            value = float(words[i])
        except:
            value = words[i]
        sample_dic[parameters[i]].append(value)
    line = f.readline()
f.close()

print(sample_dic)

readlines()で一気にファイルを読み取る

readline()では１行ごとでしたが
readlines()という方法だと一気に全部の行をリストにして読み出します。

f = open('sample_data.csv', 'r')

words = f.readlines() 
print(words)

wordsには１行ずつのデータが入っています。
これらはカンマで区切られています。
ここでも最後の 「\n」は改行を示します。

wordsはリストなので
例えばwords[0]には１行目、words[3]には４行目が入っています。

words[0]
# 'name,age,sex,height,weight\n'
words[3]
# 'C,32,male,165,67\n'

改行記号はいらないので、最後の１文字を外すようにします。

words[0][:-1]                                                                                
# 'name,age,sex,height,weight'

カンマで区切られているのでカンマで分けると項目ごとのリストになります。

parameters = words[0][:-1].split(',')
print(parameters)
# ['name', 'age', 'sex', 'height', 'weight']

さて、ここで辞書を定義します

sample_dic = {}

項目別に入れていきます。

#パラメータごとの空のリストを辞書内に作成
for parameter in parameters: 
    sample_dic[parameter] = []

for i in range(len(words) - 1): 
#行の長さ分、繰り返して実行
    for j in range(len(parameters)): 
    #パラメータごとに繰り返して実行
        sample_dic[parameters[j]].append(words[i + 1][:-1].split(',')[j]) 
        #対象パラメータごとに一致する部分のデータを加える。

print(sample_dic)

となり、各パラメータが抜き出せます。

i とか j とか頭で考えるのが難しいですね。

パソコンも同じなんだよね。データをまとめて取り出すと、それだけ記録容量を用いるわけで、一つずつ取り出して消化してった方が一般的には負担が少ないんだよ。

どういうことかさっぱりです・・

宿題を１年分ためて一気にやると大変なのと一緒だよ。一つ一つ処理した方が、楽ちんだよね。

なるほど。

同様に数値と文字のデータを分けたければ、この部分は

for i in range(len(words) - 1): 
    for j in range(len(parameters)):
        try:
            value = float(words[i + 1][:-1].split(',')[j])
        except:
            value = (words[i + 1][:-1].split(',')[j])
        sample_dic[parameters[j]].append(value) 
print(sample_dic)

となります。

まとめ

ここでのコードのまとめです。

f = open('sample_data.csv', 'r')
header = f.readline()
sample_dic = {}
for parameter in parameters:
    sample_dic[parameter] = []

line = f.readline()
while line:
    words = line[:-1].split(',')
    #データの１行目なら['A', '25', 'male', '181', '81']
    for i in range(len(parameters)):
        try:
            value = float(words[i])
        except:
            value = words[i]
        sample_dic[parameters[i]].append(value)
    line = f.readline()
f.close()

print(sample_dic)

f = open('sample_data.csv', 'r')
words = f.readlines() 
parameters = words[0][:-1].split(',')

sample_dic = {}
for parameter in parameters: 
    sample_dic[parameter] = []

for i in range(len(words) - 1): 
    for j in range(len(parameters)): 
        try:
            value = float(words[i + 1][:-1].split(',')[j])
        except:
            value = (words[i + 1][:-1].split(',')[j])
        sample_dic[parameters[j]].append(value) 
print(sample_dic)

上で述べたようにpandasのread_csvを使うと

import pandas as pd
df = pd.read_csv('sample_data.csv')
print(df)

pandas知らないうちは毎回コード書いて読み出してました。
pandasって便利ですね。