[DS 뭐하니?] 웹크롤링
[DS 뭐하니?] 웹크롤링
-
- 학습기간
- 10주(27시간)
-
- NCS코드
- 20010105:빅데이터분석
-
- 지원
- PC, 모바일
※ 학습을 원하는 기수를 선택해주세요
| 선택 | 기수 | 학습기간 | 수강신청 마감까지 | 신청현황 |
|---|
- 현재 모든 차수가 신청 마감 되었습니다.
- 문의를 남겨 주시면 담당자가 신청 가능한 차수를 빠르게 안내해드립니다.
※ 자부담금 결제는 고용24에서 진행합니다.
학습개요
웹크롤링이란?
거미줄 위를 거미가 기어다니 듯이 검색엔진 봇이 인터넷 웹상에서 떠돌아다니며 원하는 데이터를 자동으로 추출하는 것입니다.
시장을 개척하고 문제점과 해결책을 모색하는 등 빅데이터가 새로운 기회를 제공하면서 데이터 활용에 대한 니즈도 증가하고 있습니다.
그러나 아직은 빅데이터를 분석하여 활용할 수 있는 통찰력이 부족합니다. 데이터 전문가가 아니라도 쉽게 이해하고 간단히 활용할 수 있는 웹클롤링 기술.
방대한 데이터 속에서 웹크롤링을 활용해 유용한 정보를 찾아낼 수 있다면 데이터는 경쟁 우위를 제공할 것입니다.
학습목표
1.크롤링의 개념과 목적을 이해하고 활용할 수 있다.
2.데이터의 중요성을 이해하고, 실생활에서 활용 사례를 학습한다.
3.웹크롤링의 잘못된 사용방법으로 인한 문제점을 파악하고, 올바른 사용법을 익힌다.
학습대상
★ 국민내일배움카드 필수★
1.이직이나 취업을 준비 중인 구직자
2.코딩을 배웠지만 실무에 적용이 어려운 분
3.데이터 수집 기술을 이해하고 웹크롤링 프로그램을 만들고 싶은 분
수료완료 기준
- - 진도율 80% 이상 학습
- - 실습과제 6개 제출
- - 프로젝트 과제 2개 제출
- · 과제는 PC에서만 제출 가능하며 제출한 과제는 튜터가 직접 채점합니다.
- · 실습 과제의 경우 채점 결과가 Pass인 경우에만 다음 차시 수강이 가능합니다.
학습내용
1.크롤링이란
2.크롤링을 위한 환경 설정
3.Jupyter Notebook 활용방법
4.reqeusts, response
5.requests 모듈
6.Dictionary 안의 Dictionary
7.문자열 formatting
8.Dataframe
9.시간을 다루는 도구 time
10데이터 형태 이해
11.XML 형식의 데이터 다루기 1
12.XML 형식의 데이터 다루기 213.
13.XML 형식의 데이터 다루기 3
14.BeautifulSoup 모듈 1
15.BeautifulSoup 모듈 2
16.뉴스 정보 수집하기
17.XML과 HTML의 차이점
18.HTML 형식의 데이터 다루기
19.Bottom-up 방식
20.Top-down 방식
21.select를 이용한 검색
22.웹 브라우저 조작의 자동화
23.기존 프로그램을 자동화 처리하기
24.웹 크롤링에 대한 정확한 이해, selenium을 사용하는 이유
25.selenium 활용 1
26.selenium 활용 2
27.법적 권고안
강사정보
[경력]
· KG에듀원 아이티뱅크 강사(데이터사이언스 등)
· 인천국제공항공사: Web Application, 정보보호
· 대검찰청: Memory Forensic, Malware Analysis, System Hacking
[관련자격증/도서]
[관련자격증/도서]
· HRD전문가(2023)
· 직업훈련교사(2022): AI, 정보보교육, 정보기술개발
· SQLP, SQLD, ADP, ADsP 등 보유
· SQLP, SQLD, ADP, ADsP 등 보유
꼭 확인해주세요!
해당 강의는 국비지원 강의인K-디지털 기초역량훈련 과정으로
국민내일배움카드를 발급 받은 사람들만
해당 강의를 수강할 수 있습니다.
발급받은 내일배움카드가 있으신가요?
