[MACHINE LEARNING] Softmax Function

Softmax function은 0과 1로만 결과가 나오는 것이 아닌 다양한 값으로 결과가 나올 때 쓰는 알고리즘이다.

결과값은 확률로 나오는데 나온 결과값의 확률을 모두 더하면 1이 된다.

코드를 보기 이전에 one hot의 개념부터 잡아야한다.

one hot이 무엇일까? 바로 한개의 결과값이 도출된다는 뜻이다.

예를 들어

0은 첫번째에 hot되고 1은 두번째 2는 3번째에 hot된다. 이처럼 한개의 값에만 hot되는 것이 one hot이다.

자이제 코드를 보자. 먼저 가장 기본적인 softmax 코드이다.

import tensorflow as tf x_data = [[1,2,1,1],[2,1,3,2],[3,1,3,4],[4,1,5,5],[1,7,5,5],[1,2,5,6],[1,6,6,6],[1,7,7,7]] y_data = [[0,0,1],[0,0,1],[0,0,1],[0,1,0],[0,1,0],[0,1,0],[1,0,0],[1,0,0]] X = tf.placeholder("float",[None,4]) Y = tf.placeholder("float",[None,3]) nb_classes = 3 W = tf.Variable(tf.random_normal([4,nb_classes],name = 'weight')) b = tf.Variable(tf.random_normal([nb_classes]),name = 'bias') hypothesis = tf.nn.softmax(tf.matmul(X,W)+b) cost = tf.reduce_mean(-tf.reduce_sum(Y*tf.log(hypothesis),axis=1)) optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(cost) with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for step in range(2001): sess.run(optimizer,feed_dict={X:x_data,Y:y_data}) if step%200==0: print(step,sess.run(cost,feed_dict={X:x_data,Y:y_data}))

먼저 x_data와 y_data를 정의해준다.

이후 hypothesis를 해주는데 여기서 softmax함수가 사용된 것을 알 수 있다.

cost는 reduce_sum과 recude_mean을 사용했다.

sum은 합 mean은 평균이다.

그렇다면 sum 뒤의 axis는 무엇일까?

x=[[1,1,1],[1,1,1]]

tf.reduce_sum(x) ==> 6

tf.reduce_sum(x, 0) ==> [2, 2, 2]

tf.reduce_sum(x, 1) ==> [3, 3]

참고 : https://www.tensorflow.org/api_docs/python/tf/reduce_sum

위의 코드를 보면 쉽게 이해할 수 있을 것이다.

이후 Session으로 코드를 돌려보면

이러한 결과값이 도출된다. cost가 점점 0에 가까워지면서 알맞은 결과값이 도출되는 것이다.

그럼 이렇게 나온 결과값이 정답과 맞는지 확인해보자

import tensorflow as tf tf.set_random_seed(777) # for reproducibility x_data = [[1, 2, 1, 1], [2, 1, 3, 2], [3, 1, 3, 4], [4, 1, 5, 5], [1, 7, 5, 5], [1, 2, 5, 6], [1, 6, 6, 6], [1, 7, 7, 7]] y_data = [[0, 0, 1], [0, 0, 1], [0, 0, 1], [0, 1, 0], [0, 1, 0], [0, 1, 0], [1, 0, 0], [1, 0, 0]] X = tf.placeholder("float", [None, 4]) Y = tf.placeholder("float", [None, 3]) nb_classes = 3 W = tf.Variable(tf.random_normal([4, nb_classes]), name='weight') b = tf.Variable(tf.random_normal([nb_classes]), name='bias') # tf.nn.softmax computes softmax activations # softmax = exp(logits) / reduce_sum(exp(logits), dim) hypothesis = tf.nn.softmax(tf.matmul(X, W) + b) # Cross entropy cost/loss cost = tf.reduce_mean(-tf.reduce_sum(Y * tf.log(hypothesis), axis=1)) optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(cost) # Launch graph with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for step in range(2001): sess.run(optimizer, feed_dict={X: x_data, Y: y_data}) if step % 200 == 0: print(step, sess.run(cost, feed_dict={X: x_data, Y: y_data})) print('--------------') # Testing & One-hot encoding a = sess.run(hypothesis, feed_dict={X: [[1, 11, 7, 9]]}) print(a, sess.run(tf.arg_max(a, 1))) print('--------------') b = sess.run(hypothesis, feed_dict={X: [[1, 3, 4, 3]]}) print(b, sess.run(tf.arg_max(b, 1))) print('--------------') c = sess.run(hypothesis, feed_dict={X: [[1, 1, 0, 1]]}) print(c, sess.run(tf.arg_max(c, 1))) print('--------------') all = sess.run(hypothesis, feed_dict={X: [[1, 11, 7, 9], [1, 3, 4, 3], [1, 1, 0, 1]]}) print(all, sess.run(tf.arg_max(all, 1)))

위의 코드와 코드가 유사하다 하지만 Session을 끝내고 난 후 결과값을 도출하는 부분을 추가하였다.

hypothesis를 이용하여 보고싶은 결과값의 session을 돌리고 arg_max를 해준다.

arg_max는 어떤 값이 1에 가장 가까운지 확인해주는 것이다.

아래 all이라는 값도 있는데 이 값은 한번에 모든 데이터의 결과값을 보고싶을 때 사용한다.

그럼 data 파일을 가져와서 사용해보자. 이번 코드는 조금 더 복잡해진다.

data-04-zoo.csv코드를 사용하는데 이 코드는 동물을 특징을 나타내고 어떤 동물인지 결과값을 도출해준다고 한다.

# Lab 6 Softmax Classifier import tensorflow as tf import numpy as np tf.set_random_seed(777) # for reproducibility # Predicting animal type based on various features xy = np.loadtxt("C:\Code\Python_Workspace\Machine_Learning\data-04-zoo.csv", delimiter=',', dtype=np.float32) x_data = xy[:, 0:-1] y_data = xy[:, [-1]] #x의 data shape과 y의 data shape이 어떻게 나오는지 확인 print(x_data.shape, y_data.shape) nb_classes = 7 # 0 ~ 6 X = tf.placeholder(tf.float32, [None, 16]) Y = tf.placeholder(tf.int32, [None, 1]) # 0 ~ 6 Y_one_hot = tf.one_hot(Y, nb_classes) # one hot print("one_hot", Y_one_hot) Y_one_hot = tf.reshape(Y_one_hot, [-1, nb_classes]) print("reshape", Y_one_hot) W = tf.Variable(tf.random_normal([16, nb_classes]), name='weight') b = tf.Variable(tf.random_normal([nb_classes]), name='bias') # tf.nn.softmax computes softmax activations # softmax = exp(logits) / reduce_sum(exp(logits), dim) logits = tf.matmul(X, W) + b hypothesis = tf.nn.softmax(logits) # Cross entropy cost/loss cost_i = tf.nn.softmax_cross_entropy_with_logits(logits=logits,labels=Y_one_hot) cost = tf.reduce_mean(cost_i) optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(cost) prediction = tf.argmax(hypothesis, 1) correct_prediction = tf.equal(prediction, tf.argmax(Y_one_hot, 1)) accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) # Launch graph with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for step in range(2000): sess.run(optimizer, feed_dict={X: x_data, Y: y_data}) if step % 100 == 0: loss, acc = sess.run([cost, accuracy], feed_dict={X: x_data, Y: y_data}) print("Step: {:5}\tLoss: {:.3f}\tAcc: {:.2%}".format(step, loss, acc)) # Let's see if we can predict pred = sess.run(prediction, feed_dict={X: x_data}) # y_data: (N,1) = flatten => (N, ) matches pred.shape for p, y in zip(pred, y_data.flatten()): print("[{}] Prediction: {} True Y: {}".format(p == int(y), p, int(y)))

먼저 data-04-zoo.csv파일을 불러온 후 data를 쪼개는데 x_data.shape을 print하여 얼마나 많은 데이터가 있는지 확인한다.

이후 Y_one_hot을 보면 tf.one_hot을 이용하여 one hot을 찾는데 (이 코드만 구현하면 error가 난다)

밑에 reshape를 이용하여 다시 한번 shape를 바꿔준다.

왜 코드를 추가해준걸까?

print한 결과값을 먼저 보자.

처음 print한것은 tf.one_hot의 함수만 사용햇을 때이다. one_hot의 함수 결과값의 shape을 보면 1차원의 배열이 추가되어있다.

이는 우리가 원하는 결과값이 아니다!!

따라서 우리는 reshape을 통해 우리가 원하는 결과값을 도출해준다.

reshape이후에는 [?,7]의 배열로 알맞은 배열의 shape이 도출되었다.

이 코드에서 위의 코드와 가장 많이 다른점은 바로 cost를 계산할때이다.

1)

cost = tf.reduce_mean(-tf.reduce_sum(Y * tf.log(hypothesis), axis=1))

2)

cost_i = tf.nn.softmax_cross_entropy_with_logits(logits=logits,labels=Y_one_hot) cost = tf.reduce_mean(cost_i)

1)과 같았던 코드를

2) softmax_cross_entropy_with_logits 를 이용하여 프로그래머가 훨씬 더 사용하기 쉬워졌다.

이 코드에서는 한 step을 갈때마다 cost와 정확도를 분석해서 출력해주었다.

이후 prediction을 이용하여 실제로 얼마나 많이 맞는지 출력했다.

+) flatten : Return a copy of the array collapsed into one dimension.