기계 학습

기계 학습

 

기계 학습에 대한 이 소개에서는 오늘날 기업 내에서 기계 학습의 역사, 중요한 정의, 응용 프로그램 및 우려 사항에 대한 개요를 제공합니다.

머신 러닝이란 무엇입니까?

머신 러닝은 인공 지능(AI) 및 컴퓨터 과학의 한 분야로 데이터와 알고리즘을 사용하여 인간이 학습하는 방식을 모방하고 점차적으로 정확도를 향상시키는 데 중점을 둡니다.

IBM은 기계 학습 에 대한 풍부한 역사를 가지고 있습니다.

그중 하나인 Arthur Samuel은 체커 게임에 대한 자신의 연구 (PDF, 481KB)(IBM 외부 링크)를 통해 "머신 러닝"이라는 용어를 만든 것으로 알려져 있습니다. 자칭 체커 마스터인 로버트 닐리는 1962년 IBM 7094 컴퓨터로 게임을 하다가 컴퓨터에게 졌습니다.

오늘날 할 수 있는 것과 비교하면 이 위업은 거의 사소해 보이지만 인공 지능 분야에서 중요한 이정표로 간주됩니다. 향후 20년 동안 스토리지 및 처리 능력에 대한 기술 발전으로 Netflix의 추천 엔진이나 자율 주행 자동차와 같이 오늘날 우리가 알고 사랑하는 혁신적인 제품이 가능해집니다.

.

머신 러닝은 성장하는 데이터 과학 분야의 중요한 구성 요소입니다. 통계적 방법의 사용을 통해 알고리즘은 분류 또는 예측을 수행하도록 훈련되어 데이터 마이닝 프로젝트 내에서 핵심 통찰력을 드러냅니다.

,

이러한 통찰력은 이후 애플리케이션 및 비즈니스 내에서 의사 결정을 주도하여 주요 성장 지표에 이상적으로 영향을 미칩니다. 빅 데이터가 지속적으로 확장되고 성장함에 따라 데이터 과학자에 대한 시장 수요가 증가하여 가장 관련성이 높은 비즈니스 질문을 식별하고 이에 대한 답변을 제공할 데이터가 필요합니다.

머신 러닝 대 딥 러닝 대 신경망

딥 러닝과 머신 러닝은 같은 의미로 사용되는 경향이 있으므로 둘 사이의 뉘앙스를 주목할 가치가 있습니다. 머신 러닝, 딥 러닝, 신경망은 모두 인공 지능의 하위 분야입니다. 그러나 딥 러닝은 실제로 머신 러닝의 하위 분야이고 신경망은 딥 러닝의 하위 분야입니다.

.

딥 러닝과 머신 러닝이 다른 점은 각 알고리즘이 학습하는 방식에 있습니다. 딥 러닝은 프로세스의 많은 기능 추출 부분을 자동화하여 필요한 수동 인간 개입의 일부를 제거하고 더 큰 데이터 세트를 사용할 수 있도록 합니다.

,

고전적 또는 "심층적이지 않은" 기계 학습은 학습을 위한 인간 개입에 더 의존적입니다. 인간 전문가는 데이터 입력 간의 차이점을 이해하기 위해 기능 세트를 결정하며 일반적으로 학습하려면 더 구조화된 데이터가 필요합니다.

"딥" 머신 러닝은 지도 학습이라고도 하는 레이블이 지정된 데이터 세트를 활용하여 알고리즘에 정보를 제공할 수 있지만 레이블이 지정된 데이터 세트가 반드시 필요한 것은 아닙니다.

비정형 데이터를 원시 형식(예: 텍스트, 이미지)으로 수집할 수 있으며 서로 다른 범주의 데이터를 서로 구별하는 기능 집합을 자동으로 결정할 수 있습니다. 머신 러닝과 달리 데이터를 처리하기 위해 사람의 개입이 필요하지 않으므로 더 흥미로운 방식으로 머신 러닝을 확장할 수 있습니다. 딥 러닝 및 신경망은 주로 컴퓨터 비전, 자연어 처리 및 음성 인식과 같은 영역에서 발전을 가속화하는 것으로 알려져 있습니다.

신경망 또는 인공 신경망(ANN)은 입력 계층, 하나 이상의 은닉 계층 및 출력 계층을 포함하는 노드 계층으로 구성됩니다. 각 노드 또는 인공 뉴런은 다른 노드에 연결되며 연관된 가중치 및 임계값이 있습니다.

개별 노드의 출력이 지정된 임계값보다 높으면 해당 노드가 활성화되어 네트워크의 다음 계층으로 데이터를 보냅니다. 그렇지 않으면 네트워크의 다음 계층으로 데이터가 전달되지 않습니다.

딥 러닝의 "딥"은 신경망의 레이어 깊이를 나타냅니다. 입력과 출력을 포함하는 3개 이상의 레이어로 구성된 신경망은 심층 학습 알고리즘 또는 심층 신경망으로 간주될 수 있습니다. 2~3개의 레이어만 있는 신경망은 기본적인 신경망일 뿐입니다.

기계 학습 작동 방식

UC Berkeley (IBM 외부에 있는 링크)는 기계 학습 알고리즘의 학습 시스템을 세 가지 주요 부분으로 나눕니다.

A 의사결정 과정 : 일반적으로 머신러닝 알고리즘은 예측이나 분류에 사용됩니다. 레이블이 지정되거나 레이블이 지정되지 않은 일부 입력 데이터를 기반으로 알고리즘은 데이터의 패턴에 대한 추정치를 생성합니다.

오류 함수 : 오류 함수는 모델의 예측을 평가하는 역할을 합니다. 알려진 예가 있는 경우 오류 함수는 모델의 정확도를 평가하기 위해 비교를 수행할 수 있습니다.

모델 최적화 프로세스 : 모델이 훈련 세트의 데이터 포인트에 더 잘 맞을 수 있으면 알려진 예제와 모델 추정치 간의 불일치를 줄이기 위해 가중치가 조정됩니다. 알고리즘은 이 평가 및 최적화 프로세스를 반복하여 정확도 임계값에 도달할 때까지 가중치를 자율적으로 업데이트합니다.

기계 학습 방법

기계 학습 분류기는 세 가지 기본 범주로 나뉩니다.

지도 머신 러닝

지도 학습( Supervised Machine Learning)이라고도 하는 지도 학습은 레이블이 지정된 데이터 세트를 사용하여 데이터를 분류하거나 결과를 정확하게 예측하는 알고리즘을 훈련하는 것으로 정의됩니다. 입력 데이터가 모델에 입력되면 모델이 적절하게 피팅될 때까지 가중치를 조정합니다.

이것은 모델이 과적합 또는 과소 적합 을 방지하도록 하기 위한 교차 검증 프로세스의 일부로 발생합니다.

지도 학습은 조직이 받은 편지함과 별도의 폴더에 스팸을 분류하는 것과 같은 다양한 실제 문제를 대규모로 해결하는 데 도움이 됩니다.

지도 학습에 사용되는 일부 방법에는 신경망, 나이브 베이, 선형 회귀, 로지스틱 회귀, 랜덤 포레스트, 지원 벡터 머신(SVM) 등이 있습니다.

비지도 머신 러닝

비지도 학습 (unsupervised machine learning)이라고도 하는 비지도 학습은 기계 학습 알고리즘을 사용하여 레이블이 지정되지 않은 데이터 세트를 분석하고 클러스터링합니다.

이러한 알고리즘은 사람의 개입 없이 숨겨진 패턴 또는 데이터 그룹을 발견합니다. 정보의 유사점과 차이점을 발견하는 능력은 탐색적 데이터 분석, 교차 판매 전략, 고객 세분화, 이미지 및 패턴 인식을 위한 이상적인 솔루션입니다. 또한 차원 축소 프로세스를 통해 모델의 기능 수를 줄이는 데 사용됩니다. 주성분 분석(PCA)과 특이값 분해(SVD)는 이를 위한 두 가지 일반적인 접근 방식입니다.

비지도 학습에 사용되는 다른 알고리즘에는 신경망, k-평균 클러스터링, 확률적 클러스터링 방법 등이 있습니다.

반 지도 학습

준지도 학습은 지도 학습과 비지도 학습 사이의 행복한 매개체를 제공합니다. 훈련하는 동안 레이블이 지정되지 않은 더 큰 데이터 세트에서 분류 및 기능 추출을 안내하기 위해 더 작은 레이블이 지정된 데이터 세트를 사용합니다. Semi-supervised learning은 지도 학습 알고리즘을 훈련하기 위해 레이블이 지정된 데이터가 충분하지 않은 문제(또는 충분한 데이터에 레이블을 지정할 여유가 없는 경우)를 해결할 수 있습니다.

이러한 접근 방식의 차이점에 대해 자세히 알아보려면 " 지도 학습 vs. 비지도 학습: 차이점이 무엇인가요? " 를 확인하세요.

강화 머신 러닝

강화 기계 학습은 지도 학습과 유사한 행동 기계 학습 모델이지만 알고리즘은 샘플 데이터를 사용하여 학습되지 않습니다. 이 모델은 시행착오를 통해 학습합니다. 주어진 문제에 대한 최상의 권장 사항 또는 정책을 개발하기 위해 일련의 성공적인 결과가 강화됩니다.

Jeopardy! 에서 우승한 IBM Watson® 시스템 ! 2011년의 챌린지가 좋은 예입니다. 시스템 은 강화 학습을 사용하여 답변(또는 질문, 말 그대로)을 시도할지 여부, 보드에서 선택할 사각형, 특히 일일 복식에 베팅할 금액을 결정했습니다.

강화 학습에 대해 자세히 알아보세요.

실제 기계 학습 사용 사례

다음은 매일 접할 수 있는 기계 학습의 몇 가지 예입니다.

음성 인식: 자동 음성 인식(ASR), 컴퓨터 음성 인식 또는 음성을 텍스트로 변환이라고도 하며 자연어 처리(NLP)를 사용하여 사람의 음성을 서면 형식으로 처리하는 기능입니다. 많은 모바일 장치는 음성 검색(예: Siri)을 수행하거나 문자 메시지 주변에 더 많은 접근성을 제공하기 위해 음성 인식을 시스템에 통합합니다.

고객 서비스: 온라인 챗봇은 고객 여정에서 상담원을 대체하고 있습니다. 배송과 같은 주제에 대해 자주 묻는 질문(FAQ)에 답변하거나 맞춤형 조언, 제품 교차 판매 또는 사용자를 위한 사이즈 제안을 제공하여 웹사이트 및 소셜 미디어 플랫폼 전반에 걸친 고객 참여에 대한 생각을 변화시킵니다. 예로는 가상 에이전트 가 있는 전자 상거래 사이트의 메시징 봇 , Slack 및 Facebook Messenger와 같은 메시징 앱, 일반적으로 가상 비서 및 음성 비서가 수행하는 작업이 있습니다.

컴퓨터 비전: 이 AI 기술을 통해 컴퓨터와 시스템은 디지털 이미지, 비디오 및 기타 시각적 입력에서 의미 있는 정보를 도출하고 이러한 입력을 기반으로 조치를 취할 수 있습니다. 권장 사항을 제공하는 이 기능은 이미지 인식 작업과 구별됩니다. 합성곱 신경망으로 구동되는 컴퓨터 비전은 소셜 미디어의 사진 태깅, 의료 분야의 방사선 영상, 자동차 산업의 자율 주행 자동차에 응용할 수 있습니다.

추천 엔진: 과거 소비 행동 데이터를 사용하여 AI 알고리즘은 보다 효과적인 교차 판매 전략을 개발하는 데 사용할 수 있는 데이터 추세를 발견하는 데 도움이 될 수 있습니다. 이는 온라인 소매업체의 체크아웃 프로세스 중에 고객에게 관련 추가 기능을 권장하는 데 사용됩니다.

자동화된 주식 거래: 주식 포트폴리오를 최적화하도록 설계된 AI 기반 고주파 거래 플랫폼은 사람의 개입 없이 하루에 수천 또는 수백만 건의 거래를 합니다.

머신 러닝의 과제

기계 학습 기술이 발전함에 따라 확실히 우리의 삶이 더 쉬워졌습니다. 그러나 기업 내에서 머신 러닝을 구현하는 것은 AI 기술을 둘러싼 여러 윤리적 문제도 제기했습니다. 그중 일부는 다음과 같습니다.

기술적 특이점

이 주제가 많은 대중의 관심을 받고 있지만 많은 연구자들은 가까운 장래에 AI가 인간 지능을 능가한다는 아이디어에 대해 관심을 갖지 않습니다. 이것은 또한 초지능이라고도 하며 Nick Bostrum은 "과학적 창의성, 일반적인 지혜, 사회적 기술을 포함한 거의 모든 분야에서 최고의 인간 두뇌를 크게 능가하는 모든 지능"으로 정의합니다. 강력한 AI 및 초지능이 사회에 가까우면 안 된다는 사실에도 불구하고 자율주행차와 같은 자율 시스템의 사용을 고려할 때 이에 대한 아이디어는 몇 가지 흥미로운 질문을 제기합니다. 무인 자동차가 결코 교통사고를 당하지 않을 것이라고 생각하는 것은 비현실적이지만 그러한 상황에서 누가 책임을 지고 책임을 져야 할까요? 우리가 여전히 자율주행차를 추구한다면, 아니면 이 기술의 통합을 제한하여 운전자의 안전을 증진하는 반자율 차량만을 만들 것인가? 배심원단은 아직 이에 대해 논의하지 않았지만 새롭고 혁신적인 AI 기술이 발전함에 따라 발생하는 윤리적 논쟁 유형입니다.

AI가 일자리에 미치는 영향

인공 지능에 대한 많은 대중의 인식이 실직에 중점을 두고 있지만 이 우려는 아마도 재구성되어야 합니다. 모든 파괴적이고 새로운 기술과 함께 특정 직무에 대한 시장 수요가 변화하고 있음을 알 수 있습니다. 예를 들어, 자동차 산업을 살펴보면 GM과 같은 많은 제조업체가 친환경 이니셔티브에 맞춰 전기 자동차 생산에 집중하는 방향으로 전환하고 있습니다. 에너지 산업은 사라지고 있지 않지만 에너지의 원천은 연료 경제에서 전기 경제로 이동하고 있습니다. 인공 지능은 인공 지능이 일자리 수요를 다른 영역으로 이동시키는 유사한 방식으로 보아야 합니다. 데이터가 매일 증가하고 변경됨에 따라 이러한 시스템을 관리하는 데 도움을 줄 개인이 필요합니다. 고객 서비스와 같은 직업 수요 변화의 영향을 받을 가능성이 가장 큰 산업 내에서 보다 복잡한 문제를 해결하기 위한 리소스가 여전히 필요합니다. 인공 지능의 중요한 측면과 그것이 고용 시장에 미치는 영향은 개인이 이러한 새로운 시장 수요 영역으로 전환하는 데 도움이 될 것입니다.

은둔

프라이버시는 데이터 프라이버시, 데이터 보호 및 데이터 보안의 맥락에서 논의되는 경향이 있으며 이러한 우려로 인해 정책 입안자들은 최근 몇 년 동안 여기에서 더 많은 진전을 이룰 수 있었습니다. 예를 들어, 2016년에 GDPR 법률은 유럽 연합 및 유럽 경제 지역의 사람들의 개인 데이터를 보호하기 위해 만들어졌으며 개인이 데이터를 더 많이 제어할 수 있도록 했습니다. 미국에서는 개별 주에서 CCPA(캘리포니아 소비자 개인 정보 보호법)와 같은 정책을 개발하고 있으며, 이를 통해 기업은 데이터 수집에 대해 소비자에게 알릴 것을 요구합니다. 이 최근 법안으로 인해 기업은 개인 식별 데이터(PII)를 저장하고 사용하는 방법을 재고해야 합니다. 결과적으로 보안에 대한 투자는 보안에 대한 모든 취약성과 기회를 제거하기 위해 노력함에 따라 기업의 우선순위가 증가하고 있습니다.

편견과 차별

수많은 지능 시스템에 걸친 편견과 차별의 사례는 인공 지능의 사용과 관련하여 많은 윤리적 문제를 제기했습니다. 훈련 데이터 자체가 편향될 수 있는 경우 편향과 차별로부터 보호할 수 있는 방법은 무엇입니까? 기업은 일반적으로 자동화 노력에 대해 선의의 의도를 가지고 있지만 Reuters (IBM 외부에 링크 있음)는 AI를 고용 관행에 통합할 때의 예상치 못한 결과를 강조합니다. 프로세스를 자동화하고 단순화하려는 노력의 일환으로 Amazon은 의도치 않게 잠재적인 구직 후보자를 성별에 따라 공개 기술 역할에 편향시켰고 결국 프로젝트를 폐기해야 했습니다. 이러한 사건이 표면화됨에 따라 Harvard Business Review 는(IBM 외부에 링크 있음)은 직무 후보자를 평가할 때 어떤 데이터를 사용할 수 있어야 하는지와 같이 채용 관행 내에서 AI를 사용하는 것과 관련하여 다른 지적 질문을 제기했습니다.

편견과 차별은 인적 자원 기능에만 국한되지 않습니다. 얼굴 인식 소프트웨어에서 소셜 미디어 알고리즘에 이르기까지 다양한 애플리케이션에서 찾을 수 있습니다.

기업이 AI의 위험을 더 많이 인식함에 따라 AI 윤리 및 가치에 대한 논의도 더욱 활발해졌습니다. 예를 들어, 작년에 IBM의 CEO인 Arvind Krishna는 IBM이 범용 IBM 얼굴 인식 및 분석 제품의 사용을 중단했다고 밝혔습니다. 감시, 인종 프로파일링, 기본 인권과 자유의 침해, 또는 우리의 가치와 신뢰 및 투명성 원칙 과 일치하지 않는 모든 목적.” 이에 대한 자세한 내용은 " A Precision Regulation Approach to Controlling Facial Recognition Technology Exports "에 대한 관점을 전달하는 IBM의 정책 블로그를 확인하십시오.

책임 기계 학습

AI 관행을 규제하는 중요한 법률이 없기 때문에 윤리적 AI가 실행되도록 보장하는 실제 시행 메커니즘이 없습니다. 기업이 이러한 지침을 준수하도록 하는 현재 인센티브는 비윤리적인 AI 시스템이 수익에 미치는 부정적인 영향입니다. 격차를 메우기 위해 윤리학자와 연구원 간의 협력의 일환으로 윤리적 프레임워크가 등장하여 사회 내 AI 모델의 구축 및 배포를 통제했습니다. 그러나 현재로서는 이러한 정보가 지침 역할을 할 뿐이며 연구 (IBM 외부에 링크 있음)(PDF, 1MB)에 따르면 분산된 책임과 잠재적 결과에 대한 예측 부족의 조합이 반드시 사회에 대한 피해를 예방하는 데 도움이 되는 것은 아닙니다.