세부내용 |
과목명 |
모듈 |
세부과정 |
빅데이터 |
빅데이터 수집 시스템 개발 |
• Web Scraping 기초
• BeautifulSoup 설치, 기본 트리 운행, 정규 표현식 이용
• 한겨레 신문 뉴스, Naver 뉴스, 동아 일보 뉴스 검색 crawling
• Web Scraping library Beautiful Soup 실습
• 시카고 샌드위치 맛집 분석
• 네이버 영화 평점 기준 영화의 평점 변화 확인하기
|
빅데이터 저장 시스템 개발 |
• Python CSV 파일 입출력
• MongoDB 특징, 구조, MongoDB 설치, 서버 실행 및 종료
• Database 생성 및 삭제, Collection 생성 및 삭제
• Documents 생성 및 삭제, 대용량 파일의 import
• MongoDB client Compass 설치 및 이용
• PyMongo 설치하기, Pycharm에서의 MongoDB와 Python 연동
• Jupyter Notebook에서의 MongoDB와 Python 연동
• Hadoop 설정 및 활용
• R, Hadoop 연동 실습
|
R,
빅데이터 처리 시스템 개발,
텍스트 데이터 분석,
빅데이터 분석 결과 시각화
|
• R project 설치, RStudio 설치 및 설정, R 프로젝트 생성
• R 데이터 구조, 데이터의 종류, 벡터(Vector)
• 연산자, 제어문, 벡터 생성 함수,
• 데이터 유형과 구조, 벡터(Vector), 연산자 실습, Factor 실습
• 행열(Matrix), 배열(Array), 리스트(List)
• 데이터 프레임(DataFrame)
• 외부 데이터 읽기(CSV, TXT, Excel, XML), 키보드 입력
• Web에서 HTML 파일 가져오기
• 외부로 데이터 출력, 외부 파일로 저장하기(TXT, Excel)
• RData 다루기
• 함수(사용자 정의 함수, 주요 내장함수)
• 데이터 조작 - plyr, reshape, reshape2 패키지
• dplyr 패키지 활용, dplyr 패키지, filter(), select()
• arrange() 실습, mutate(), summarise(), group_by() 실습
• dplyr 활용 데이터 전처리 left_join(), bind_rows() 실습
• 데이터 정제, 빠진데이터(NA), 이상한 데이터 제거하기(Outlier)
• 범주형(정수형) 전처리, 연속형(실수형) 데이터 전처리
• 전처리 및 탐색적 분석을 위한 시각화, 파생 변수
• 데이터프레임 결합, 표본의 추출
• 다양한 주제를 대상으로한 개발 실습
• 시각화 도구의 분류, barplot, legend, title, dotchart 실습
• pie, boxplot, hist, lines, dnorm, rnorm 실습
• 중첩 자료 시각화(숫자형 컬럼 2개 이상 사용), 산점도
• abline, scatterplot3d, 3차원 챠트, 3차원 산점도 시각화
• 히스토그램, 밀도 그래프, 막대 그래프, 점 그래프 제작 실습
• 산점도 그래프, 데이터 범주화 제작 실습
• 조건 그래프, 3차원 산점도 그래프 제작 실습
• ggplot2 package를 이용한 시각화
|
빅데이터 분석 시스템 개발
|
• 분석 절차와 기본 통계 지식
• 가설(hypothesis) 설정, 유의수준 결정, 측정 도구의 설계
• 척도의 분류, 데이터의 수집, 데이터 코딩
• 통계 분석 수행 원리 분석
• 통계학의 구분, 조사의 방법, 모집단과 표본, 통계적 추정
• 기각역(Critical region)과 채택역(Acceptance region) 파악
• 양측검정과 단측검정, 가설 검정 오류, 검정 통계량 파악
• 정규 분포, 모수와 비모수 검정 분석
• 표준정규분포, 표준화 변수 Z, Z값과 확률 구간, 신뢰구간 파악
• 표본오차, 왜도(Skewness)와 첨도 분석
• 기술 통계(Descriptive Statistics) 분석, 척도별 기술 통계량
• 대표값 산출, 산포도, 변동계수, 빈도분석
• 교차분석과 카이제곱 검정
• 일원 카이제곱 검정(적합도 검정, 선호도 분석)
• 이원카이제곱검정(독립성 검정, 동질성 검정)
• 추정과 검정, 모수와 표본의 구분, 점추정과 신뢰구간 추정의 구분
• 모평균의 구간 추정
• 단일 집단 비율 검정, 단일집단 평균검정(단일표본 T검정)
• 두 집단 비율 검정, 두집단 평균검정((독립표본 T검정)
• 세 집단 비율 검정
• 분산 분석(F 검정, ANOVA: Analysis Of Variance)
• 요인 분석(Factor Analysis)
• 상관관계 분석(Correlation Analysis)
|
빅데이터 플랫폼 테스트 |
• 요구사항을 기반으로 빅데이터 플랫폼 테스트 계획을 수립
• 상세 설계된 빅데이터 플랫폼 세부 시스템의 단위기능에 대하여 기
능 테스트 시나리오를 작성
• 요구사항 명세와 아키텍처 설계서를 기반으로 빅데이터 플랫폼의
• 비기능 요소를 식별하고 평가기준을 수립
• 작성된 빅데이터 플랫폼 테스트 시나리오를 기반으로 동적 테스트
를 수행하고 결함여부와 개선의견을 포함하는 테스트 결과서 작성 |
응용 SW/파이썬/머신러닝 |
응용SW 기초기술 활용(JAVA) |
• Software 개론, 자바 언어의 이해, JDK1.8.0 설정
• Eclipse JAVA Application 개발 환경 설정
• 컴파일, 자바 프로그램의 구조
• 데이터 형(data type), 연산자(Operator)
• 제어문의 실습
• OOP 특성, Class, Method, 생성자, Package, 예외처리
• Call By Reference, 메소드로 객체의 전달
• 추상 메소드, 추상 클래스(Abstract Class), 인터페이스(Interface)
• File IO 프로그램 개발
• Network 프로그램의 개발
• JDBC 프로그램의 개발
|
데이터 입출력 구현(Oracle) |
• Oracle XE 11g 개발자 버전 설치, 최소 설치 사양
• SQL Developer 설치
• Sql developer sql 파일 생성, RDBMS 테이블 결합 JOIN ERD 제작
• self join ERD 제작
• DDL(Data Definition Language) 명령어 실습
• Single-Row Function(단일행 함수) 실습
• GROUP BY, HAVING, Group Functions(그룹화 함수), SubQuery
• Transaction, Sequence, Index 관리
• VIEW 제작
• 데이터 사전(Data Dictionary), 제약 조건의 조회, 추가, 삭제
• PL/SQL의 이해, PL/SQL의 종류, PL/SQL의 구조, Script
• Stored Procedure Create & Execution - IN/OUT 매개변수
• Stored Procedure INSERT, SELECT, UPDATE, DELETE의 이용
• Stored Function, Trigger
|
화면 구현(Javascript, jQuery, Bootstrap) |
• Data Type, Variable, Operator(연산자), 제어문
• function(함수), 시스템 지원 전역 함수의 사용, 가변인수
• 객체 지향 프로그래밍
• Event의 처리(INPUT, BUTTON, SUBMIT)
• Ajax(Asynchronous JavaScript and XML), XMLHttpRequest 객체
• JSON(JavaScript Object Notation) 출력의 Ajax 처리
• Javascript framework jQuery 설치
• selector를 이용한 DOM Element(태그)의 검색
• jQuery Ajax 요청의 처리, GET, POST 방식과 한글 처리
• Bootstrap 활용
|
서버 프로그램 구현(JSP, Spring, Spring Boot 2) |
• TOMCAT 8 Install
• JSP 스크립트 기본 문법, JSP 스크립틀릿 코드의 생성 및 실행
• Page 지시자(Directive), class import, request 내부 객체 실습
• response 내부 객체, out 내부 객체, application 내부 객체의 사용
• GET, POST Form Data 전송 방식
• CSS(Cascading Style Sheet)의 사용
• JSP 기반 공지사항의 제작 및 응용
• JSP 기반 회원 관련 제작
• JSP 기반 로그인/로그아웃, Cookie, Session의 활용
• STS(Spring Tool Suite) 설치(권장)
• Data Management(SQL Development) 설정
• servlet원리, servlet을 이용한 폼 데이터의 처리, Servlet 실습
• Spring기반 MVC의 원리, STS Spring MVC의 개발 구조 분석
• Maven 의존성 추가, Local 저장소의 설정, settings.xml
• EL(표현 언어, Expression Language)의 사용
• JSTL(JSP Standard TAG Library)의 사용
• DI(Dependency Injection)의 구현
• MyBATIS 설치 및 사용
• Spring 기반 공지사항의 제작 및 응용
• Spring 기반 자료실의 제작 및 응용
• Spring 기반 회원(관리자) 관련 기능의 제작 및 응용
• Spring boot 2 기반 공지사항의 제작 및 응용
• Spring boot 2 기반 자료실의 제작 및 응용
• Spring boot 2 기반 회원(관리자) 관련 기능의 제작 및 응용
• Filter, Interceptor의 활용
• AOP(Aspect Oriented Programming)의 구현
• Transaction 구현
• AOP + MyBATIS + Oracle기반 선언적 Trancation
|
파이썬 |
• 파이썬 설치와 환경 설정,Anaconda (Python 3) 설치
• Conda를 이용한 Python 3 기반 가상환경 생성
• 내장 데이터 타입, 숫자, 시퀀스, 매핑, set 타입
• 연산자, 제어문의 실습, 함수의 제작 실습
• 모듈과 패키지, datetime 모듈, 상속, import
• 객체지향 프로그래밍, 클래스 제작
• Class 선언, 클래스 멤버, 메소드, 인스턴스 멤버, 메소드의 실습, 생성자, 소멸자, 모듈 분리
• try ~ except를 사용한 예외 처리
• 파일 입출력 처리
• 네트워크 프로그래밍, 네트워크 Server/Client의 제작
• MySQL DBMS 사용하기
• DBMS 응용 Application 제작
• BeautifulSoup 설정
• 웹 크롤러를 활용한 데이터의 수집
• 수집된 데이터의 저장
• 파이썬 라이브러리를 활용한 데이터 분석
• 데이터 시각화 library Matplotlib(맷플롯립)
• 대용량 데이터 연산 package(library) Numpy
• 데이터셋 생성 및 분석 package(library) Pandas
• 데이터 분석 및 스토리 텔링 프로젝트 실습
|
머신러닝 기반 데이터 분석
(R programming
/
Tensorflow 2) |
• 개발 환경 설정, Anaconda install
• CPU 기반 Conda를 이용한 Python 3 기반 가상환경 생성
• Tensorflow 2 설치
• Jupyter Notebook 커널 연동, 개발 환경 구성
• 머신러닝 개론
• 선형 회귀(Linear Regression), 성적 예측 모델 구현
• 평균 제곱근 오차(RMSE: Root Mean Square Error)
• 정규 분포 난수의 생성, 균등 분포 난수의 생성
• Tensorflow에서의 경사 하강법(gradient decent)
• 다중 선형 회귀(Multiple Linear Regression) 모델
• 로지스틱 회귀(Logistic Regression) 모델의 구현,
• 퍼셉트론(perceptron), 오차 역전파(Back Propagation)
• 기울기 소실 문제와 활성화 함수, 손실 함수
• 수치 예측 모델의 개발
• 이항 분류(Binary Classification) 모델 개발
• 와인의 종류 예측하기(이항 분류(binary classification)), 모델 업데이트 및 저장
• 다중 분류(Multi Classification) 모델 개발
• 아이리스(붓꽃) 품종 예측, 원-핫 인코딩(one-hot-encoding)
• GPU 기반, CUDA, cuDNN, Conda를 이용한 Python 3 가상환경 설정
• 컨볼루션 신경망 레이어 CNN 모델 개발
• 미국 국립 표준 기술원(NIST)의 MNIST 이용 모델 제작
• CIFAR-10, OpenCV를 이용한 이미지 인식 모델 개발
• VGG 학습모델 재사용
• 순환 신경망 레이어 RNN 모델 개발
• 다양한 분야의 예측 모델 주제 선정
• Django Web Application library의 생성 및 설정
• Django application 세부 환경 설정
• DJango와 딥러닝 모델의 연동을 통한 지능형 웹 개발
|
프로젝트/
빅데이터 플랫폼 요구사항 분석/
빅데이터 플랫폼 아키텍처 설계
/빅데이터 품질관리시스템 개발/통합 구현 |
• 프로젝트 주제, 주제 결정, 프로젝트 주요 기술 결정
• 프로젝트 주제 개인 역활의 결정, 개발 요소 파악하기
• 개발 요소 등록
• Amateras UML 객체 분석 설계 툴 설치
• 데이터베이스 설계 ERD 툴 설치
• 빅데이터 플랫폼 요구사항 분석
• 요구사항의 파악, 요구 사항 정의(Defining Requirement)
• Usecase Diagram 작성 실습
• 팀 통합 프로젝트 및 개인별 개발 프로젝트의 생성
• 빅데이터 플랫폼 아키텍처 설계
• 빅데이터 품질관리시스템 개발
• DBMS 설계, DBMS 정규화(Normalization)
• AmaterasERD 파일 생성, 모델링(논리적/물리적) 실습
• 테이블 3개이상의 JOIN
• Import, TABLE 구조 생성, SQL 생성
• Local 저장소의 설정
• Maven 설정, Spring 환경 설정
• 화면 Layout, Action TAG를 이용한 Mneu 페이지의 제작
• JSP Template 설정
• 화면구현(User Interface Design, Prototype, Storyboard)
• Prototype 제작 실습
• VO(DTO), XML, DAO, Controller 기초 코드 작업
• 컨텐츠별 CRUD 구현
• Frontend 제작
• 파이썬을 통한 웹 데이터 수집 및 DBMS에 저장
• R Studio에서의 파일 데이터 분석 및 시각화 제작
• 텐서플로 케라스 연동 각종 예측 시스템 개발
• 수집 및 분석된 데이터 Spring 프레임워크로 웹 서비스 구축 및 테스트
• Github 소스 통합 구현
• 프로젝트 통합 및 변경 사항 수정
• 프로젝트 운영 테스트 및 수정
• 프로젝트 문서화 작업 및 발표
| |