Skypainter

이 포스트에서는 OpenAI API의 Embedding을 활용하여 간단하게 데이터 분석을 해보고자 한다. 한국어 텍스트 데이터를 분석해보면 더 친숙할 것 같아서 한국어 혐오 발언 분류 데이터셋을 이용하기로 했다. (데이터 및 패키지 링크: https://github.com/kocohub/korean-hate-speech) 아래는 이번 포스트에서 사용할 패키지들이다. 여기서 koco 패키지는 데이터셋을 위해 필요하다.from openai import OpenAIimport osimport numpy as npimport pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import confusion_mat..

이 포스트에서는 OpenAI API를 통한 ChatGPT 이용하고자 한다. OpenAI API는 유료지만 필자의 경우, 교수님께서 Lab 멤버들의 연구를 위해 OpenAPI를 구독해주셔서 부담 없이 쓰는 중이다 ㅎㅎ아래는 이 포스트에서 사용할 패키지들이다.from openai import OpenAIimport osKeyOpenAI.txt 파일은 필자가 저장해놓은 API key이다. API key는 OpenAI 사이트에서 생성이 가능한데, 생성할 때 딱 한번만 key를 볼 수 있으므로 안전하게 key를 저장해놓는 것이 좋다.(주의!) 절대로 다른 사람과 공유해서는 안 되므로 주의하자.매번 이렇게 coding을 하는 것이 귀찮다면, 아예 Windows 시스템 세팅에서 환경변수로 설정하는 방법도 있다.(참고..

목차 " data-ke-type="html">HTML 삽입미리보기할 수 없는 소스MongoDB의 용어구체적인 내용을 서술하기에 앞서, 먼저 MongoDB의 논리적 구조에 사용되는 용어들을 알아둘 필요가 있습니다.(1) DocumentDocumet란 MongoDB에 저장된 하나의 record라고 보시면 됩니다. 또한 MongoDB에 저장되는 데이터의 기본 단위입니다. Document는 아래처럼 JSON과 유사한 구조를 가지며, field: value 의 쌍들로 이루어져 있습니다.{ name: "Sam", Student Number: 20001, major: ["Economics", "Statistics"]}Document는 텍스트 그대로 저장되는 것이 아니라 BSON (binary represe..

Step 1. 설치 파일 다운로드 및 실행 먼저 아래의 링크로 접속합니다. MongoDB Community Download Download the Community version of MongoDB's non-relational database server from MongoDB's download center. www.mongodb.comtry Version: 4.4.0 (current), Package: msi 선택해주시고 Platform은 본인의 OS에 맞게 설정합니다. 그리고 밑의 Download 버튼을 클릭. 설치가 완료되면 파일을 실행합니다. 여기서 라이센스 동의 란에 체크를 해주고 Next. Complete를 클릭합니다. 아무런 변경없이 Next 클릭 GUI 환경을 원하시면 Install M..