잡다한 CS 지식 공부

웹의 동작과정은 어떻게 이루어 지는가 ?

 

1. 웹 브라우저에 URL을 입력한다.
2. 클라이언트는 서버 호스트 이름을 DNS 서버에 전송하여 해당 웹 서버의 IP주소 값을 얻는다.
3. IP 주소와 Wel-Known 포트 80번을 사용해 웹 서버와 TCP 연결을 시도한다. (이때 3-hand shake way) 방식으로 연결
4. TCP 연결이 설정되고 클라이언트가 서버에 GET 명령을 전송하면 서버는 요청 받은 웹 문서를 클라이언트의 웹 브라우저의 회신
5. 서버와 클라이언트 둘 사이의 연결을 해제 한다 (4-hand shake way)
6. 웹 브라우저는 해당 파일의 내용을 사용자가 볼 수 있게끔 화면에 표시한다.

 

 

데이터 처리 방식의 변화

구분	과거	현재
저장	관계형 데이터베이스, 데이터 웨어하우스	비관계형 데이터베이스, 가상화, 클라우드
관리	지식관리시스템, 웹 2.0	플랫폼, 소셜네트워크, 집단지성
분석	경영,고객 정보, ERP, CRM, 데이터마이닝	빅데이터분석, 소셜분석, 시각화

 

빅데이터의 속성

 

• 규모 - 데이터의 크기로 분류 할 수 있다. (수십 테라 ~ 수십 페타)
• 다양성 - 다양한 종류의 데이터를 수용할 수 있는 속성 (비정형 데이터, 텍스트, 이미지, 로그 등)
• 속도 - 데이터를 빠르게 처리하고 분석할 수 있는 속성 (실시간 처리 필수 스트림 데이터의 폭증으로 인한 실시간 데이터 처리능력이 필요함)
• 정확성 - 데이터에 부여할 수 있는 신뢰 수준
• 가치 - 빅데이터를 저장하려고 IT 인프라를 형성하는데 사용되는 비용

( ( (규모, 다양성, 속도 ) + 정확성 ) +가치 ) 순으로 확장해 나갈 수 있다.

 

빅데이터 처리 과정 과 기술

 

• 데이터 소스( 내부, 외부, 미디어 데이터) 수집 - (수동적 방식과 자동적 방식(크롤링, 센싱, 로그 수집) )
• 저장 - 이를 관계형 데이터 베이스나 비관계형 데이터 베이스에 저장한다. (정형 - 비정형 데이터와 데이터의 중요도에 따라 다르게 저장된다)
• 처리 - 하둡이나 여러 분산 병렬 처리 시스템을 사용한 일괄 처리 방식이나 NoSQL 혹은 관계형 데이터베이스를  사용한 실시간 처리 혹은 배치 
• 분석 - 전처리 작업 및 분석방법을 결정하여 데이터 분석 작업을 한다.
• 표현 - 분석한 데이터를 시각화 도구를 사용하여 표현한다.

 

빅데이터 저장기술

분산파일 시스템	컴퓨터 네트워크로 공유하는 여러 호스트 컴퓨터 파일에 접근할 수 있는 파일 시스템을 말한다. ex) HDFS, AWS S3
NoSQL	데이터 모델을 단순화하여 관계형 데이터 모델과 SQL을 사용하지 않는 모든 DBMS 혹은 데이터 저장장치를 말한다. ex) Cloudata, Hbase, Cassandra, redis
병렬 DBMS	다수의 마이크로프로세서를 사용하여 여러 디스크의 질의, 갱신, 입출력 등 데이터베이스처리를 동시에 수행하는 데이터베이스 시스템
네트워크 구성 저장 시스템	서로 다른 종류의 데이터 저장장치를 하나의 데이터 서버에 연결하여 관리 ex) NAS

 

인공지능과 머신러닝 용어의 차이는 무엇일까?

 

인공 지능의 경우 명확한 정의가 내려져 있지는 않다. 그러나 4가지 관점에서 인공지능을 바라 볼 수 있다.

인간처럼 생각하는 / 인간처럼 행동하는 / 이성적으로 생각하는 /  이성적으로 행동하는

 

또 컴퓨터 공학적으로 바라보는 4가지 관점은 다음과 같다.

단순한 제어 프로그램 / 패턴이 다양한 고전적 인공지능 / 머신러닝을 받아들인 인공지능 / 딥러닝을 받아 들인 인공지능

 

머신러닝의 경우 컴퓨터가 명시적으로 프로그램되지 않고도 학습할 수 있도록 하는 연구를 머신러닝이라한다.

일반 적인 프로그램에서는 입력, 조건 , 동작에 대한 결과를 프로그래머 직접 설계하여 프로그램을 동작시킨다.

하지만 머신러닝의 경우 어떤 작업에서 어떤 경험을 통해 성능 측정 방법으로 측정했을 때 성능이 향상된다면 컴퓨터 프로그램은 학습한다고 본다.

 

머신러닝은 비지도학습, 지도학습으로 구분 지을 수 있다.