호돌찌의 AI 연구소
728x90
[Crawling] JavaScript가 사용된 Webpage 긁기
Programming/R 2021. 6. 22. 22:15

2019년에 Crawling 공부하면서 정리를 했었던 내용의 일부입니다. Contents Contents JavaScript 사용된 파일 찾기 Step 날짜데이터 활용 - 매우 기초 현재 날짜 반환 현재 날짜 속성 확인 현재 날짜를 숫자 값으로 변환, 1970-01-01로 부터의 누적일 수가 반환됨 현재 날짜를 특정 형태로 변환하려면 format() 함수 사용 Date 객체에 정수를 더하면 미래 일자, 빼면 과거 일자 반환 문자열을 날짜로 변환 'x' 인자에 숫자 0을 할당하면 'origin'인자에 지정된 날짜가 반환 생일을 입력해서 지금까지 살아온 일 수 계산 가능 날짜 데이터 활용 - 크롤링에 활용하기위해 날짜 벡터 생성 시작일자와 종료일자를 각각 지정 후 1, 2일 간격으로 생성 1주일, 1달, 1..

article thumbnail
자산 배분 포트폴리오 - 0. Intro

사람들마다 선호하는 투자 스타일이 있습니다. 저도 작년 6월부터 투자 공부를 시작하고 8월부터 투자를 시작했기 때문에 고수가 절대 아닙니다. 아직까지는 저는 운이 좋다고 생각합니다. 사람들마다 투자스타일이 존재하는데, 투자 스타일 유형을 나누어보면 다음과 같이 생각이 듭니다. 1. 가치 투자 : "저평가된 주식이 존재하며 장기간 걸쳐서 반영되어간다" 라는 가설을 두고 투자합니다. 2. 지수 추종 : "주가는 장기적으로 우상향한다" 라는 가설을 두고 투자합니다. 3. 기술적 매매 투자(차트 매매) : "과거의 가격 패턴은 계속 반복된다" 라는 가설을 두고 투자합니다. 4. 우량주 장기 투자 : "시가 총액 상위 주식은 안전하며 우상향한다" 라는 가설을 두고 투자합니다. 이 글을 읽으시는 분들은 아마 위의 ..

[Crawling] XML, JSON in R
Programming/R 2021. 6. 17. 22:19

2019년에 Crawling 공부하면서 정리를 했었던 내용의 일부입니다. Contents Contents 반복문에서 예외 처리 JavaScript에 대한 이해 AJAX & XHR XML R에서 XML 데이터를 다루는 방법 JSON에 대한 이해 R에서 JSON 데이터를 다루는 방법 Chrome 개발자도구 활용법 반복문에서 예외 처리 반복문 실행 중 여러 이유로 다양한 에러가 발생함. 특히 HTTP 요청 결과 상태 코드가 4xx이거나 응답결과는 정상이었지만 HTML이 비어있는 경우 등 여러가지 이슈에 부딪힐 수 있으므로 예외처리를 해주어야 함 R 반복문 실행 도중 에러가 발생하는 경우, 해당 에러는 건너뛰고 다음번 실행으로 넘어가도록 설정하기 위해 tryCatch() 함수를 사용, (설명이 괜찮게 되어 있는..

article thumbnail
[Crawling] 용어 다지기 및 Tutorial
Programming/R 2021. 6. 5. 17:36

19년 하반기에 강의 했었던 내용을 짧게 일부 발췌하였습니다. 최소한은 이 부분은 알고 가신 다음에 적용하는 것이 좋습니다. 간단 이론! 웹크롤링 전반적인 범위 우리가 인터넷에서 정보를 검색하는 방법 R에서의 웹 크롤링과 인터넷 검색의 유사점 웹 크롤링을 위해 추가로 알아야할 사항 이것만 알고 넘어가요 HTML 기초 HTML 요소 CSS Selector & XPath 표기법 비교 Rselenium Selenium 이해 Selenium 환경 Rselenium 브라우저 설정 실습에 활용할 함수들 ★ 실습 코드는 메일에 보내겠습니다 Rselenium Function 1 : remote driver 설정 Rselenium Function 2 : remote web browser 제어 Rselenium Funct..

자연어 강좌 추천(2020)
AI/NLP 2020. 7. 12. 17:06

NLP를 공부하면서 도움이 되었던 강좌들을 소개하며 몇줄평을 남겨보도록 하겠습니다. 오로지 자연어 관련 강좌만을 언급을 합니다.(2020년 7월 기준) 1. 허민석님 유튜브→ 자연어처리 재생목록입니다. 용어 잡기에 정말 좋고 짧게 구성되어 있습니다. 2. [Korea University] Text Analytics 2020 Spring → 고려대학교 강필성 교수님 강좌입니다. 텍스트 관련 모든 이론 내용(전처리, topic modeling, deep learning 등)을 다루고 있다고 무방합니다. 정말 추천하는 강좌입니다. 3. 딥러닝을 이용한 자연어 처리 Edwith → 조경현 교수님 자연어 처리 강좌입니다. 처음 듣는 사람들에게 다소 어려울 수 있지만 꽤나 depth있게 필요한 내용들을 전부 다루고..

자연어 관련 도서 및 블로그 소개(2020)
AI/NLP 2020. 7. 12. 16:00

Text MIning, NLP를 공부하면서 도움이 되었던 책들과 블로그를 소개하며 몇줄 남겨보도록 하겠습니다.(블로그는 많은 내용을 다루는 곳을 기준으로만 기술 했습니다.) 서적은 자연어 관련 서적 만을 언급을 합니다.(2020년 7월 기준) R 1. R을 이용한 텍스트 마이닝(2017, 2020 개정) → 제일 처음으로 저는 R을 이용을 했었고, 이 책으로 입문을 했었습니다. 이 도서는 전처리와 토픽모델링에 focusing 되어있기 때문에 텍스트마이닝 용으로는 괜찮은 책이라고 생각합니다. 특히 전처리 하는 내용이 상세히 되어있고, 올해 개정이 되면서 도서 분량도 늘어나서 좋은 내용이 기술되어 있을 것 같습니다. (한글 데이터도 다루는 것으로 기억이 납니다.) 2. R로 배우는 텍스트 마이닝(2019) ..