자기발전소/# Machine Learning9 Azure ML Studio 실습: Walmart 판매액 예측 모델 Walmart 관련 데이터 기반 판매액 예측 모델 구축 1. Walmart data Preproocessing > 데이터 전처리 구조 확인 > 데이터 셋 업로드 > 데이터셋 불러오기 데이터 업로드하자마자 ML Studio에서 데이터를 다 분석했기 때문에 학습을(Run) 시키지 않고 바로 시각화(Visualize) 가능 > 데이터셋에서 원하는 컬럼만 선택 Markdown 컬럼 부분에는 Null 값이 너무 많음 해당 컬럼을 제외하고 분석하기 위한 사전 조작 필요 > Select Columns 모듈 추가 > Select Columns 모듈 추가 > Run & Select Colums in Dataset의 모듈의 Visualize 확인 > 데이터 Join features.csv 와 train.csv 데이터를 '.. 2020. 12. 28. Azure ML Studio 실습: Titanic Mortality Rate > Kaggle에서 다운받은 Titanic Data Set 업로드 > New Experiment - Data Set 불러오기 > 필요한 컬럼만 선택 모듈 추가 👇 컬럼 선택 👇 컬럼 필터링 확인 👇 > Survived 생존여부 컬럼이 숫자로 인식되면 안됨, 생존여부 유 무로만 분류될 수 있게 Boolean 타입으로 바꾸어야 함 Edit Metadata 모듈 추가 👇 Edit 하려는 컬럼(Survived) 선택 및 Data Type - Boolean으로 설정 👇 Run 하여 적용시킨 다음 Vizualize를 통해 확인 👇 > Missing Value 해결 빠진 값이 있는 행을 아예 삭제하기도 하지만, 데이터 양이 너무 없어서 이거라도 살려야 싶을 때 데이터의 평균값을 그 값에 채워주는 최후의 방법도 있다... 2020. 12. 26. OCR(Optical Character Recognition) 실습 OCR (Optical Character Recognition) OCR이 활용되는 사례: 물류택배업에서 활발히 사용 운전 마일리지 (대쉬보드 찍어서 얼마나 탔는지 확인) 자동차 번호판 인식 명함 및 카드 인식 영수증 인식 OCR 서비스 활용 실습 사용 TOOL : Google Colab 사전에 필요한 것 : Azure Computer Vision API 서비스를 사용해야 하기 때문에 API 사용에 필요한 Key 및 Endpoint 1. 글자 인식 위한 패키지 설치 - requests: 네트워크 통신 목적 2. 서비스 키 및 엔드포인트 선언 - 서비스를 사용할 수 있도록 Azure Cognitive Service API 키 및 엔드포인트 변수 선언 - 그중 OCR 서비스를 활용할 수 있게 URL 변수 추가.. 2020. 12. 24. Face Recognition 실습 Face API 서비스 활용 실습 Face Recognition + 안면인식이 활용되는 사례: 중국에서 국민 확인 용도 남미에서 포르노에서 소아 발견 용도 감정분석에도 사용 (Emotino Recognition) 사용한 TOOL: Google Colab 사전에 필요한 것: Azure Face API 서비스를 사용해야 하기 때문에 API 사용에 필요한 Key 및 Endpoint 1. 필요한 패키지 설치 - 웹 통신을 위한 requests - 이미지 처리를 위한 BytesIO, Image - 이미지 위에 선을 긋거나 글씨 : ImageDraw, ImageFont 2. 키 및 서비스 엔드포인트 URL 설정 3. 분석할 이미지 가져오기 2. API 요청 - 필요한 헤더 및 파라미터 정보 설정 (가능한 속성 중 .. 2020. 12. 24. Computer Vision API 실습: Object Detection Object Detection 서비스 활용 실습 이미지 속 개체를 분석하고, 감지하여 사각형으로 표시해 보기 사용한 TOOL: Google Colab 사전에 필요한 것: Azure Computer Vision API 서비스를 사용해야 하기 때문에 API 사용에 필요한 Key 및 Endpoint * Colab 작성 TIP : 마크다운 형식을 통해 텍스트도 작성할 수 있다. Object Analysis 1. Computer Vision 사물 인식 DEMO 소개 텍스트 작성 2. Computer Vision API 사용및 이미지 처리 위한 패키지 설치 - requests: 네트워크 통신 목적 - matplotlib.pyplot, Image, BytesIO : 이미지 처리 - json : JSON 값 처리 3... 2020. 12. 24. Cognitive Services MS AI 관련 플랫폼 Azure AI Services : AI 관련 기능 제공하는 서비스 Pre-Built AI : Cognitive Services Conversational AI : 자연어 처리, Bot Service Custom AI : Azure Machine Learning Azure Infrastructure : AI를 빠르게 연산하기 위한 강력한 컴퓨터 자원들 Cognitive Services APIs Cognitive Services API 사용하기 1 관련 라이브러리 불러오기 Cognitive Services API를 사용하기 위한 설치 필수(Python) 라이브러리 requests : HTTP 요청을 주고 받는 기능 제공 - requests.get() - requests.post() .. 2020. 12. 24. Azure ML Studio 실습: Linear Regression 수동으로 입력한 데이터를 선형 회귀 알고리즘을 통해 학습시켜 연봉 예측 모델 구현 1. 먼저, 가공한 데이터를 학습용 데이터(Train Set)와 테스트용 데이터(Test Set)로 분리 👉 Split Data 모듈 추가 👉 Split Data 모듈의 각 점의 의미 이해하기! 상단의 점 : Input 하단의 두 개의 점: 1 & 2 1: Train Set 2: Test Set 👉 Split Data 설정값 지정 "Fraction of rows in first~ " 값을 0.8 (Train 80 Test 20 퍼센트로 Split) 로 변경 및 Random Seed 값을 99로 변경 👉 Run & Split Data - Visualize 확인 Test set이 설정값대로 퍼센트가 잘 나뉘어졌는지 확인 👉 L.. 2020. 12. 23. Machine Learning 입문 2 Steps of Machine Learning 1. Understand the Business Domain 2. Understand the Business Problem 3. What is the Right Data, Right Column and Algorithm 4. Combine Knowledge With Machine Learning 관련 썰😊 : 세계2차대전 전쟁에 격추되지 않고 살아돌아온 비행기를 보고 비행기 보강할 계획을 세던 중 엔지니어: "살아돌아온 비행기에서 총알을 맞은 부분만 강화하자" 비행기 조종사: "아니다, 격추당하지 않은 곳을 강화해야 한다. 격추당한 비행기는 그 부분을 맞았기 때문에 격추당해 돌아오지 못한 것이다." 머신러닝 모델 구축의 단계 문제 정의 데이터 셋 준비 모델 .. 2020. 12. 23. Machine Learning 입문 AI가 무엇인가요? 인공지능이요 머신러닝이 무엇인가요? 인공지능이요 딥러닝이 무엇인가요? 인공지능이요 Azure Machine Learning Studio 를 사용하기에 앞서, Machine Learning의 개념을 짚어보자 머신러닝 관련 개념 1. AI는 쉽게 말하자면, 사람을 흉내낼 수 있는 것을 말한다. 2. 1980년대 이후 메모리,컴퓨터 성능이 좋아지면서 컴퓨터에 수학적으로 학습을 시키기 시작했다. 즉, 문제해결의 주체가 인간에서 기계로 넘어가는 전환점이 되는 시기였는데 인간이 기계에 데이터를 입력하면 기계가 수학적으로 이에 대한 계산을 수행하고 문제를 해결했다. 기존의 방식대로 사람이 찾아서 기계한테 알려주는 것과 달리, 머신러닝에서는 어떤 계산식이 존재하는지 모르는 블랙박스에 대한 초기값과 .. 2020. 12. 23. 이전 1 다음
