본문 바로가기
  • 노션에서 삽질한 내용을 정리하는 블로그

전체 글162

Azure ML Studio 실습: Titanic Mortality Rate > Kaggle에서 다운받은 Titanic Data Set 업로드 > New Experiment - Data Set 불러오기 > 필요한 컬럼만 선택 모듈 추가 👇 컬럼 선택 👇 컬럼 필터링 확인 👇 > Survived 생존여부 컬럼이 숫자로 인식되면 안됨, 생존여부 유 무로만 분류될 수 있게 Boolean 타입으로 바꾸어야 함 Edit Metadata 모듈 추가 👇 Edit 하려는 컬럼(Survived) 선택 및 Data Type - Boolean으로 설정 👇 Run 하여 적용시킨 다음 Vizualize를 통해 확인 👇 > Missing Value 해결 빠진 값이 있는 행을 아예 삭제하기도 하지만, 데이터 양이 너무 없어서 이거라도 살려야 싶을 때 데이터의 평균값을 그 값에 채워주는 최후의 방법도 있다... 2020. 12. 26.
Azure 리소스 그룹 생성 및 Computer Vision 리소스 만들기 Azure 무료 계정 생성 완료한 다음, 첫 접속! 상단바에서 '리소스 그룹' 검색 👇 '리소스 그룹 만들기' 클릭 👇 리소스 그룹이 속하는 프로젝트 정보 및 사용할 영역 지정 👇 리소스 그룹 태그 작성(선택사항이지만, 관리하기에 용이) 👇 리소스 그룹 생성 확인 👇 '리소스 만들기' 클릭 👇 검색창에 'Computer Vision' 입력하여 검색 👇 'Computer Vision' 만들기 👇 Computer Vision 관련 리소스그룹 정보 및 인스턴스 정보 지정 👇 Computer Vision 만들기 성공 👇 리소스 보기에서 해당 리소스를 클릭한 다음, 생성된 키 및 엔드포인트 확인 👇 이제 키 및 엔드포인트를 활용하여 Cognitive Service API에 액세스할 수 있고, 프로그래밍 언어를 통.. 2020. 12. 24.
OCR(Optical Character Recognition) 실습 OCR (Optical Character Recognition) OCR이 활용되는 사례: 물류택배업에서 활발히 사용 운전 마일리지 (대쉬보드 찍어서 얼마나 탔는지 확인) 자동차 번호판 인식 명함 및 카드 인식 영수증 인식 OCR 서비스 활용 실습 사용 TOOL : Google Colab 사전에 필요한 것 : Azure Computer Vision API 서비스를 사용해야 하기 때문에 API 사용에 필요한 Key 및 Endpoint 1. 글자 인식 위한 패키지 설치 - requests: 네트워크 통신 목적 2. 서비스 키 및 엔드포인트 선언 - 서비스를 사용할 수 있도록 Azure Cognitive Service API 키 및 엔드포인트 변수 선언 - 그중 OCR 서비스를 활용할 수 있게 URL 변수 추가.. 2020. 12. 24.
Face Recognition 실습 Face API 서비스 활용 실습 Face Recognition + 안면인식이 활용되는 사례: 중국에서 국민 확인 용도 남미에서 포르노에서 소아 발견 용도 감정분석에도 사용 (Emotino Recognition) 사용한 TOOL: Google Colab 사전에 필요한 것: Azure Face API 서비스를 사용해야 하기 때문에 API 사용에 필요한 Key 및 Endpoint 1. 필요한 패키지 설치 - 웹 통신을 위한 requests - 이미지 처리를 위한 BytesIO, Image - 이미지 위에 선을 긋거나 글씨 : ImageDraw, ImageFont 2. 키 및 서비스 엔드포인트 URL 설정 3. 분석할 이미지 가져오기 2. API 요청 - 필요한 헤더 및 파라미터 정보 설정 (가능한 속성 중 .. 2020. 12. 24.
Computer Vision API 실습: Object Detection Object Detection 서비스 활용 실습 이미지 속 개체를 분석하고, 감지하여 사각형으로 표시해 보기 사용한 TOOL: Google Colab 사전에 필요한 것: Azure Computer Vision API 서비스를 사용해야 하기 때문에 API 사용에 필요한 Key 및 Endpoint * Colab 작성 TIP : 마크다운 형식을 통해 텍스트도 작성할 수 있다. Object Analysis 1. Computer Vision 사물 인식 DEMO 소개 텍스트 작성 2. Computer Vision API 사용및 이미지 처리 위한 패키지 설치 - requests: 네트워크 통신 목적 - matplotlib.pyplot, Image, BytesIO : 이미지 처리 - json : JSON 값 처리 3... 2020. 12. 24.
Cognitive Services MS AI 관련 플랫폼 Azure AI Services : AI 관련 기능 제공하는 서비스 Pre-Built AI : Cognitive Services Conversational AI : 자연어 처리, Bot Service Custom AI : Azure Machine Learning Azure Infrastructure : AI를 빠르게 연산하기 위한 강력한 컴퓨터 자원들 Cognitive Services APIs Cognitive Services API 사용하기 1 관련 라이브러리 불러오기 Cognitive Services API를 사용하기 위한 설치 필수(Python) 라이브러리 requests : HTTP 요청을 주고 받는 기능 제공 - requests.get() - requests.post() .. 2020. 12. 24.
Colab으로 Python 간단 문법 실행 Colab (Google 클라우드상에서 런타임이 진행되며 저장되는 Tool) 10 진수로 변환 숫자 0 + 변환하려는 진수의 대표 알파벳 0o(10) : 8진수 10을 10진수로 변환하면 8 0b(10): 2진수 10의 10진수 값은 2 0x(10): 16진수 10의 10진수 값은 16 10 진수를 변환 oct(38) : 38을 8진수로 변환하면 46 hex(38): 38을 16진수로 변환하면 26 bin(38): 38을 2진수로 변환 ~ 데이터 타입 확인 및 변환 type( ) : 해당 값의 데이터 타입 확인 str( ) : 문자열로 변환 int( ) : 정수형으로 변환 float( ) : 실수형으로 변환 """ 여러 줄의 문자열 출력 가능 문자열 적을 때 \n : 개행(줄바꿈) \t : tab \r .. 2020. 12. 24.
Python 파이썬이란 1991년 귀도반 로썸이 발표한 인터프리터 언어 뱀과는 상관없이 귀도가 좋아하는 'Monthly Python's Flying Circus'에서 따온 명칭이지만, 아이콘은 그 사전적인 의미(뱀)를 그대로 반영하고 있어서 파이썬과 관련된 패키지에는 뱀과 관련된 이름이 많다. 파이썬의 특징 1. 가독성: 문법이 간결하고 가독성이 뛰어나다. 코드블록을 들여쓰기로 구별하기대문에 자연스럽게 가독성이 좋아진다. 2. 풍부한 라이브러리: 영역별로 많은 라이브러리가 있어 다양한 분야에서 빠르게 개발할 수 있다. 파이썬을 공부한다기 보다, 파이썬의 특정한 목적의 라이브러리를 공부해야 한다. 3. 접창성: 빠르게 라이브러리를 추가할 수 있는데 특히, C언어로 구성된 라이브러리를 사용하면 속도 향상에 도움 4. 무.. 2020. 12. 24.
Azure ML Studio 실습: Linear Regression 수동으로 입력한 데이터를 선형 회귀 알고리즘을 통해 학습시켜 연봉 예측 모델 구현 1. 먼저, 가공한 데이터를 학습용 데이터(Train Set)와 테스트용 데이터(Test Set)로 분리 👉 Split Data 모듈 추가 👉 Split Data 모듈의 각 점의 의미 이해하기! 상단의 점 : Input 하단의 두 개의 점: 1 & 2 1: Train Set 2: Test Set 👉 Split Data 설정값 지정 "Fraction of rows in first~ " 값을 0.8 (Train 80 Test 20 퍼센트로 Split) 로 변경 및 Random Seed 값을 99로 변경 👉 Run & Split Data - Visualize 확인 Test set이 설정값대로 퍼센트가 잘 나뉘어졌는지 확인 👉 L.. 2020. 12. 23.
Machine Learning 입문 2 Steps of Machine Learning 1. Understand the Business Domain 2. Understand the Business Problem 3. What is the Right Data, Right Column and Algorithm 4. Combine Knowledge With Machine Learning 관련 썰😊 : 세계2차대전 전쟁에 격추되지 않고 살아돌아온 비행기를 보고 비행기 보강할 계획을 세던 중 엔지니어: "살아돌아온 비행기에서 총알을 맞은 부분만 강화하자" 비행기 조종사: "아니다, 격추당하지 않은 곳을 강화해야 한다. 격추당한 비행기는 그 부분을 맞았기 때문에 격추당해 돌아오지 못한 것이다." 머신러닝 모델 구축의 단계 문제 정의 데이터 셋 준비 모델 .. 2020. 12. 23.
Machine Learning 입문 AI가 무엇인가요? 인공지능이요 머신러닝이 무엇인가요? 인공지능이요 딥러닝이 무엇인가요? 인공지능이요 Azure Machine Learning Studio 를 사용하기에 앞서, Machine Learning의 개념을 짚어보자 머신러닝 관련 개념 1. AI는 쉽게 말하자면, 사람을 흉내낼 수 있는 것을 말한다. 2. 1980년대 이후 메모리,컴퓨터 성능이 좋아지면서 컴퓨터에 수학적으로 학습을 시키기 시작했다. 즉, 문제해결의 주체가 인간에서 기계로 넘어가는 전환점이 되는 시기였는데 인간이 기계에 데이터를 입력하면 기계가 수학적으로 이에 대한 계산을 수행하고 문제를 해결했다. 기존의 방식대로 사람이 찾아서 기계한테 알려주는 것과 달리, 머신러닝에서는 어떤 계산식이 존재하는지 모르는 블랙박스에 대한 초기값과 .. 2020. 12. 23.
AWS 공부 : Bootstrap BootStrapping 인스턴스 생성 시, 운영체제 환경 및 소프트웨어를 자동으로 구성하는 도구 즉, 사용자의 도움 없이 일련의 과정을 수행하는 도구 User-data & Meta-data - user-data: 수동으로 작성하여 전달 - meta-data: aws내부에서 만들어져 자동으로 추가 모든 EC2 인스턴스는 로컬 인스턴스의 사용자 데이터 및 메타 데이터 서비스에 접근할 수 있는 권한 소유 Meta-data : 인스턴스에 대한 불변의 데이터 Meta-data 접근 인스턴스 내에서 http를 통해 접근 가능 (http://169.254.169.254/latest/meta-data/) 해당 인스턴스에 대한 유용한 정보 (Hostname, AMI ID, Instance ID, Public/Priva.. 2020. 12. 22.