tensorflow csv file 불러오기

record_defaults=record_defaults,

출처: http://bcho.tistory.com/1165 [조대협의 블로그]

record_defaults=record_defaults,

출처: http://bcho.tistory.com/1165 [조대협의 블로그]

1.파일을 텐써로 읽어올때에는..

큐에 대한 내용은 http://weejw.tistory.com/64

1.파일 목록을 읽어 파일목록 큐에 저장한다

2.reader가 큐에서 파일명을 읽어온다.

3.decoder 가 파일을 열어서 데이터를 읽어들인다.

4.데이터를 정재한다.

5.데이터를 학습데이터 큐에 저장한다.

6.모델에서 학습데이터 큐에서 데이터를 읽어 학습한다.

라고한다. 하지만 우리는 우선적으로 파일하나를 이용하기 때문에 3. 부터 진행한다.

2.파일에서 파일에서 읽어오는 컴포넌트 Reader라고 한다.

-Reader는 몇가지 미리 정의되어있는데,FixedLengthRecordReader,TFRecordReader등이 있다.

-reader는 아래와 같이 쓸 수 있다.

reader=tf.TextLineReader()

key,value=reader.read()

3.읽은 데이터를 디코딩해주는 컴포넌트를 Decoder라고 한다.

-reader 로 읽은 데이터는 원시데이터 raw이므로 파싱을 해줘야한다.

-Decorder도 reader와 마찬가지로 미리 정의되어있는데 JSON,CSV등 데이터포멧에 대해 정의가 되어있다.

-csv의 경우 아래와 같이 쓸 수 있다.

record_default=[["null"],[0]]

val1,val2=tf.decode_csv(value, record_defaults=record_defaults,field_delim=",")

이렇게 하면 각 필드의 디폴트값을 지정해주는 동시에 데이터 타입을 지정해줄 수 있다.

4.이제 읽은 파일을 한번 출력해보자

with tf.Session() as sess:

coord=tf.train.Coordinator()

threads=tf.train.start_queue_runners(sess=sess,coord=coord)

for i in range(100):

print(sess.run([val1,val2])

coord.request_stop()

coord.join(trheads)

출처url

http://bcho.tistory.com/1163

http://bcho.tistory.com/1165