오늘부터 강화학습에 관한 내용들을 공부하고 있다.


애초에 국내에 머신러닝 강좌들도 많이 없지만,


그중에서도 RL(강화학습)에 관한 내용은 전무한 상황이라고 봐도 될정도다.


그러던 도중 아주 좋은 자료를 찾았고 오늘부터 정리를 하려고 한다.




Reinforcement Learning 


환경과 상호작용을 통한 학습 장법 중에서 computational 하게 접근하 것이 machine learning 이다.

이 ML의 학습 방법중 하나가 RL이다. 물론 DL(Deep Learning)도 ML의 하나이다.

ML 중에서 아이가 걷는것을 배우는 것처럼 처음에 어떻게 행동할 줄 모르지만, 환경과 상호작용을 하면서

걷는 법을 알아가는 것과 같은 학습을 RL이라고 한다.


좀더 자세하게 보면 어떤 Environment을 탐색하는 agent가 현재의 state를 인식하여 어떤 action을 취한다.

그러면 그 agent는 Environment로 부터 reward를 얻게 된다. reward는 양수와 음수 둘다 가능하다. 

강화학습의 알고리즘은 그 agent가 앞으로 누적될 reward를 최대화 하려는 일련의 행동으로 정의되는 policy를 찾는 방법이다.





바로 전 포스트가 윈도우를 지원하는 Tensorflow를 설치하는 법을 알아봤다.


근데 나도 처음 설치를 하고 난 뒤에 잘 작동하는지 보기 위해 실행을 해봤는데 


혹시나가 역시나, 오류가 뜬다.



뭐 리눅스에서는 파이썬 2.7 을 쓰다가 윈도우에서 파이썬 3.5를 쓰니


문법적인 부분 오류는 금방 수정했고


문제는 Tensorboard 였다. 



분명 Tensorboard가 실행되고 웹서버까지 열렸는데 들어가서 웹 리소스를 불러오지 못한다....


그래서 localhost:6006 에 접속을 해도




이런 빈 화면만 나온다.... 부들부들



여기저기 알아본 결과 윈도우버전의 TensorFlow v0.12.0 RC0 에서 Tensorboard 부분이 누락된거같다는 이야기가 있었다.


그래서 웹 리소스를 구성하는 부분을 따로 받아 Tensorboard 폴더에 넣어주면 된다.


tensorboard.zip


이 파일을 받아서 Anaconda3\Lib\site-packages\tensorflow\tensorboard  이부분에 풀어주면 된다.





그리고 나서 다시 실행!!


하지만...




경로가 문제였다.


리눅스와 쓰던 경로가 달라졌으니 역시 수정해준다.(코드가 리눅스에 맞춰져있음)



경로를 Tensorboard event 파일이 만들어진 곳을 입력해주고 다시 실행!!!


그러나 역시나 또 오류




이런 인코딩 오류가 뜨면서 이벤트 파일을 불러오지 못했다...


대충 읽어보니 utf-8 이라고 적혀있고, 내 이벤트 파일에는 한글이 들어가있다....


각이다.(아마 마지막으로 들어가있는 이름이 컴퓨터 이름같은데 컴퓨터 이름을 수정해주면 일일이 한글로 수정해줄필요가 없다)


바로 한글이 들어가있던 이벤트 파일을 지우고 아무 영어로 수정해주니



드디어 정상 작동.....


이제 진짜 리눅스는 빠이빠이다


tensorboard 때문에 다시 리눅스를 써야하나 했는데


이것마저 해결되어버렸다.



그동안 tensorflow 는 맥os하고 리눅스에서밖에 지원을 안했는데


이번에 TensorFlow v0.12.0 RC0 버전으로 올라오면서 


윈도우도 지원하게 됬다.



윈도우에서 설치하는 방법은 매우 간단하다.


아나콘다와 Cuda 8.0, cudnn5.2(였나?) 을 받아주고


아나콘다설치, Cuda 8.0을 설치해주고


cudnn5.2 받은 파일을 Cuda8.0 설치 파일에 맞는 경로에 따라 넣어

주면 된다.


경로는 아마 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\8.0v 일것이다.



그리고 난 뒤에 윈도우 커맨드 창을 열어 


only CPU 는  pip install tensorflow


use GPU 는  pip install tensorflow-gpu


를 각각 입력해주면 된다.


그 이후에는 사용하는 개발툴에 들어가서 인터프리터를 아나콘다로 잡아주고 패키지에 tensorflow가 있는지 확인 해주면 된다.


아 그리고 이번 TensorFlow v0.12.0 RC0 버전은 파이선 3.5부터 지원한다고 하니 2.7 유저들은 업그레이드 하시길....



잘 작동하는것 까지 확인!


원래 Tensorflow 를 이용하기위해 우분투 설치하고 별의별 삽질을 다했는데.....


윈도우에 설치하니 상당히 간단하고 쉽다..... 우분투 bye



방금 도전해서 성공했네요!!!

아래 방법대로 따라하면 됩니다!



궁금하신거는 덧글로 달아주세요!!
 

A jailbroken idevice running iOS 5, including:

  • iPhone 4
  • iPhone 3GS
  • iPod Touch 4G
  • iPad 1G

1. The jailbroken iPhone 4 or iPod touch Touch 4G running iOS 5. You can jailbreak iOS 5 with Redsn0w.
2. i-Funbox or iTools and other system tools.
3. iFile
4. Download the Siri file.

How to install Siri on your device:

Step 1: Extract siri.rar file.

Step 2: Copy the extracted folder AssistantServices.framework with i-funbox or other tools to /System/Library/PrivateFrameworks/ directory.

Step 3:  Copy all files in SpringBoard_Assistant_pics folder to/system/library/coreservice/springboard.app directory [Note not copy a folder].

Step 4: Modify “N90AP.plist” (iPhone 4) “N81AP.plist” (iPod touch Touch4) in/system/library/coreservice/springboard.app with iFile. Then add <key>assistant</key><true/> in<key>720p</key><true/> behind, save and exit.

Step 5: Reboot the iPhone, and then holding down home botton in the locked screen, you can see Siri UI.

  • Please note step 4, you must use iFile editing. Do not use such itools and ifunbox to Modify, respring will appear DFU Loop.
  • If the device still respring loop, you can delete <key>assistant</key><true/> in N90AP.list to Restore the initial state, then reboot.
  • If the above steps are right, but still can not successfully call up Siri, only appear voice control or DFU Loop, which means unsuccessful. Try to use another AssistantServices.framework folder replacing the prior one, that probably is competing with the Factory time. AssistantServices.framework.rar
  • To restore the voice control, you need to deleteassistantin the N90AP.list.

Updating

Fix respring loop

Note that after you copy AssistantServices.framework folder to /System/Library/PrivateFrameworks/ directory

Please set AssistantServices.framework folder permissions to 755
Then modify N90AP.plist (iPhone 4); N81AP.plist (iTouch4) in /system/library/coreservice/springboard.app with iFile.

found <key>720p</key><true/>, add <key>1080p</key><true/>,  <key>assistant</key><true/> behind it, save and exit.

오늘 10월 24일이 아이팟 10주년이랍니다! 제가 아이팟 처음 안게 5년전쯤인데...벌써 10년이나 지났다니...10년이 지나도 아직도 꾸준하게 사랑받고있죠!
아쉽게도 이제 클릭휠 제품은 아이팟 클래식밖에 남지않았지만요.

iPhone 에서 작성된 글입니다.


OMG.......

siri가 한국어를 지원한다고 애플 홈페이지에 나왔네요.....

애플에 대한 충성심이 +1000000000되었습니다.

iPhone 에서 작성된 글입니다.


드디어 iOS5가 정식배포중이네요!!!

트위터에서 iOS5로 업데이트 한 사람들의 반응은 대부분 "3gs에서 어떻게 이런속도가...", "배터리가 닳지가 않는다!!!!!" 등등 배터리와 성능개선에 많은 투자를 한 것 같습니다.

iOS 5 소프트웨어 업데이트

이 업데이트는 다음을 포함하여 200개 이상의 새로운 기능을 포함합니다:

• 알림
◦ 알림 센터 기능을 통해 어떤 화면에서나 맨 위에서 아래로 쓸어내리면, 한 곳에서 여러 알림을 볼 수 있음
◦ 새로운 알림이 화면 맨 위에 잠시 표시됨
◦ 잠금 화면에서 알림을 볼 수 있음
◦ 잠금 화면에서 알림 응용 프로그램 아이콘을 오른쪽으로 밀어서 해당 응용 프로그램으로 곧바로 이동할 수 있음
• iMessage
◦ 다른 iOS 5 사용자와 무제한으로 문자, 사진, 비디오 메시지를 주고받을 수 있음
◦ 전송 확인 및 읽음 확인 기능을 통해 메시지를 추적할 수 있음
◦ 그룹 메시지 및 보안된 암호화
◦ 셀룰러 네트워크 및 Wi-Fi에서 지원됨*
• 뉴스 가판대
◦ 구독 중인 잡지 및 신문이 홈 화면에서 자동으로 정리됨
◦ 최신 발행물의 표지가 표시됨
◦ 새로운 발행물이 배경에서 다운로드됨
• 해야 할 일 관리를 위한 미리 알림
◦ iCloud, iCal, Outlook과 동기화됨
◦ iPhone 4S 및 iPhone 4의 경우, 특정 장소에서 출발 및 도착할 때 위치 기반의 미리 알림 기능 지원됨
• Twitter에 대한 지원 내장
◦ 설정에서 한 번 로그인하면 카메라, 사진, 지도, Safari, YouTube에서 곧바로 트윗할 수 있음
◦ 어떤 트윗에나 위치 정보를 추가할 수 있음
◦ 연락처에서 Twitter 프로파일 사진 및 사용자 이름을 볼 수 있음
• 카메라가 있는 장비에 대한 카메라 개선사항
◦ iPhone 4S, iPhone 4, iPhone 3GS, iPod touch(4세대)에서 장비가 잠자기 상태일 때 홈 버튼을 이중 클릭하면 카메라 바로가기 기능을 불러올 수 있음
◦ 음량 높이기 버튼으로 사진을 찍을 수 있음
◦ 격자선 옵션을 활용하여 사진 구도를 잡을 수 있음
◦ 미리보기 화면에서 두 손가락을 오므리거나 펼쳐서 확대/축소할 수 있음
◦ 미리보기 화면에서 손가락으로 쓸어넘기면 카메라 롤으로 이동할 수 있음
◦ 탭하고 누른 채로 있으면 초점 및 노출을 고정할 수 있음 - 노출 고정은 iPad 2 및 iPod touch(4세대)에서만 지원됨
• 카메라가 있는 장비에 대한 사진 개선사항
◦ 자르기 및 회전
◦ 적목 현상 제거
◦ 탭 한 번으로 고화질로 변환할 수 있음
◦ 사진을 앨범으로 정리할 수 있음
• Mail 개선사항
◦ 텍스트 서체에 볼드체, 이탤릭체, 밑줄체를 적용할 수 있음
◦ 들여쓰기 조절
◦ 주소 필드에서 이름을 드래그하여 재정렬할 수 있음
◦ 메시지에 깃발 표시를 추가할 수 있음
◦ 여러 메시지에 대해 한번에 깃발, 읽음, 읽지 않음 표시를 추가할 수 있음
◦ 메일 알림 사운드를 사용자화할 수 있음
◦ S/MIME
• 캘린더 개선사항
◦ iPad에서의 연도별 보기, iPhone 및 iPod touch에서의 새로운 주별 보기
◦ 탭하여 이벤트를 생성할 수 있음
◦ 이벤트 첨부 파일을 보거나 추가할 수 있음
• Game Center 개선사항
◦ 사용자의 Game Center 계정에서 개인 사진을 사용할 수 있음
◦ 친구들과 전체 목표 달성 점수를 비교할 수 있음
◦ 친구 추천 또는 친구의 친구를 통해 새로운 Game Center 친구를 찾을 수 있음
◦ 사용자화된 게임 추천을 통해 새로운 게임을 찾을 수 있음
• iPad 2 및 iPhone 4S에서의 AirPlay 미러링
• iPad용 멀티태스킹 동작
◦ 네 손가락 또는 다섯 손가락을 오므려서 홈 화면으로 이동할 수 있음
◦ 위로 쓸어올려서 멀티태스킹 막대를 표시할 수 있음
◦ 왼쪽 또는 오른쪽으로 쓸어넘겨서 여러 응용 프로그램 사이에서 전환할 수 있음
• 설정 지원을 통해 장비 상에서 설정, 활성화 등록, 구성 작업이 진행됨
• 컴퓨터에 연결하지 않은 상태에서 무선으로 소프트웨어 업데이트를 사용할 수 있음
• iCloud 지원
◦ iTunes 클라우드
◦ 사진 스트림
◦ 클라우드 도큐멘트
◦ 응용 프로그램과 책 자동 다운로드 및 구입 기록
◦ 백업
◦ 연락처, 캘린더, Mail
◦ 나의 iPhone 찾기
• iPad에 대해 새로 디자인된 음악 응용 프로그램
• 시간별 일기예보
• 실시간 주식 시황 정보
• 무선으로 iTunes와 동기화
• 키보드 개선사항
◦ iPad에서 키보드 분리
◦ 자동 수정 정확도 개선
◦ 중국어 및 일본어 입력 개선
◦ 새로운 이모티콘 키보드
◦ 자동 수정을 위한 개인용 사전
◦ 자주 사용하는 단어에 대한 키보드 단축기 생성 옵션
• 손쉬운 사용 개선사항
◦ iPhone 4S 및 iPhone 4에서 착신 전화에 대해 LED 플래시를 켤 수 있는 옵션
◦ iPhone에서 착신 전화에 대해 진동 패턴 사용자화 가능
◦ 운동 장애용 보조 입력 장비를 통해 iOS 사용하는 경우를 위한 새로운 인터페이스
◦ 텍스트 선택 부분을 소리내어 말할 수 있는 옵션
◦ VoiceOver에 대해 요소 꼬리표 사용자화
• Exchange ActiveSync 개선사항
◦ 무선으로 작업 동기화
◦ 메시지에 대해 깃발, 읽음, 읽지 않음 표시를 추가할 수 있음
◦ 오프라인 지원 개선
◦ GAL 서비스로부터의 새로운 연락처 저장
• 1,500개 이상의 새로운 개발자용 API
• 버그 수정사항

이 소프트웨어 업데이트와 호환 가능한 제품:
• iPhone 4S
• iPhone 4
• iPhone 3GS
• iPad 2
• iPad
• iPod touch(4세대)
• iPod touch(3세대)

* 네트워크 사업자로부터 일반 데이터 요금이 부과될 수 있습니다. iMessage를 사용할 수 없는 경우에는 SMS로 문자 메시지가 전송되며, 네트워크 사업자로부터 메시지 요금이 부과될 수 있습니다.


iPhone 에서 작성된 글입니다.
아이폰 홈버튼 잘 안눌리시는 분들 딱밤때리지 마시고 재교정 해보세요.
①아무 앱이나 엽니다.
②'밀어서 전원끄기'가 나올 때까지 전원버튼을 꾹 누릅니다.
③전원버튼에서 손을 뗍니다.
④홈 화면이 나올때까지 홈 버튼을 가볍게 꾹 누릅니다.
⑤원래의 감각으로 돌아갑니다.

진짜 효과 만점입니다!

iPhone 에서 작성된 글입니다.
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
이건 미래에나 가능한 기술 아닙니까?ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

아이폰4s 하루종일 까고 다녔는뎈ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

이제 까면 안되겠어요ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

이건뭐 인공지능 비서 한명 두는거랑 마찬가지인듯(다만 영어가....)

뭐 영어도 기본적인 수준이라 다행이지만.....

그냥 이 동영상 하나보면 끝장납니다...




진짜 이런걸 보고 혁명이라 하는군요 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

급 아이폰4s를 사야한다는 생각이 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

와 진짜 영상 보는 순간 소름이 돋았어요.... 
정리해서올리고시픈 마음이 사라졌습니다....흐흑.....

iPhone 에서 작성된 글입니다.

+ Recent posts