본문 바로가기

Category

 (28)
데이터 전처리 및 분석, 모델링 연습! 1. 데이터 분석 및 전치리- 데이터 추출# 데이터 추출 - 컬럼df['Age'] # 컬럼 한개df[['Age','Survived']] # 컬럼 여러개# 데이터 추출 - 행df.loc[0,['Survived','Sex','Name']] #Series 추출df.loc[ [0] ,['Survived','Sex','Name']] #데이터 프레임 추출df.loc[ [3,9] ,['Survived','Sex','Name']]# index 베이스로 데이터 추출df.iloc[0,[1,4,3]]df.iloc[[0],[1,4,3]]df.iloc[[3,9],[1,4,3]]# 데이터 추출 - 조건cond = df['Sex'] == 'female' # 조건df[cond]# 나이(age)가 10세 미만이거나 60이상인 사람들c..
면접 준비를 에이닷과 함께! (feat. 에이닷-얼리어닷터 1기) 안녕하세요! 에이닷 얼리어닷터 1기로 활동 중인 sinnybb입니다. 오늘은! 면접을 준비하는데 도움이 될만한 프롬프트를 사용하여 에이닷의 LLM을 사용해 보았습니다! 우선 제가 실험하며 작성해본 프롬프트를 소개합니다! 여기서 저는 다음의 내용을 가장 신경쓰며 작성을 해보았습니다.1. 페르소나2. 제약조건(입력에 대한 출력의 세부화)3. "부정문" 작성 지양(제약조건 부분에서 필요한 부분은 사용)LLM agent에 페르소나를 부여하여 질문을 할 경우 성능이 좋아진다는 것을 많이 알고 있으실 겁니다! 또한 제약조건을 세부화할 수록 사용자의 의도가 명확하게 전달되어 LLM의 action이 보다 정확해지기 때문에 제약조건을 최대 5개 정도로 하여 간단 명료하게 전달을 하는 것이 좋다고 합니다. 여기서 3번의 ..
에이닷으로 LLM 전격 비교해보기! (feat. 어도어-민희진 사건) 안녕하세요! 요즘 perplexity와 claude 등 다양한 LLM을 사용할 수 있는 에이전트인 에이닷에 대한 관심이 많아지고 있는데요! 제가 한번 에이닷에 있는 LLM들의 기능을 확인하여 비교 분석을 해보았습니다! 문득 지하철을 타고 있는데 최근에 뉴진스가 라이브 방송을 켜 소신발언을 한 이후로 다시 한번 대두되고 있는 하이브-어도어 사건에 대하여 사건 정리를 하고 싶어서 아래와 같이 같은 프롬프트로 5가지의 LLM(이하 Perplexity, GPT4o, Claude(3 Haiku), Claude(3.5 sonnet), Claude(3 Opus))에게 물어 봤습니다! 민희진 사태의 타임라인을 발생시간 대 별로 첨부자료를 가지고 만들어줘, 사건에 대한 설명은 시각적으로 이해 가능하도록 토글로 정리해줘...
RSVD(Reduced Singular Value Decomposition) 우선 SVD는 \(A = U \sum V\)의 형식인 것을 전 게시물에서 확인할 수 있었다. 이때 A는 일반 행렬(mxn)이며, 이 A를 orthogonal matrix인 U, V(서로 다르거나 같을 수 있음)와 main diagonal matrix인 \(\sum\)으로 이때 rank(A) = k라 두면 아래와 같은 간단한 식으로 정리를 할 수 있는데, 이를 Reduced Singular Value Decomposition이라고도 한다.위의 식을 \(A = U_1\sum_1 V_1\)로 나타내면 각각 m×k, k×k, k×n 크기의 행렬이 되고 \(\sum_1\)의 diagonal entries들은 양수이기 때문에(맨 하단에 증명) invertible하다. 또한 해당 식은 아래로 간단히 표기할 수 있는데..
SVD(Singular Value Decomposition) Diagonal matrix(주대각 행렬)은 diagonal element를 제외한 element들이 모두 0인 행렬을 의미한다. \(D = \begin{pmatrix}d_1 & 0 & 0 \\0 & d_2 & 0 \\0 & 0 & d_3\end{pmatrix}\)위의 형식을 봐보면 일반적인 행렬보다 간단하고 계산이 용이해보인다(실제로도 맞음). 그렇다면 일반적인 행렬들을 주대각행렬로 바꿀 수 있는 방식을 알게 된다면 좋지 않을까? 이러한 의문은 decomposition(분해)를 통해서 해결할 수 있는데, 기존 matrix를 분해하여 다른 방식으로 풀고자 하는 시도는 매우 많았지만 대부분이 일반화의 한계를 가지고 있었다. ...우선 이전에 소개한 EVG를 보면 크게 2가지의 단점이 있었다. 우선 Squa..
EVD(Eigenvalue Decomposition) 선형대수학의 최종 목적지 중 하나인 SVD(Singular Value Decompotion)을 배우기 전에 그의 기초가 되는 EVD에 대하여 간단하게 정리해보고자 한다.여기서 decomposition은 "분해"라고 해석이 되는 것처럼 특정 행렬을 다른 형식의 행렬로 바꾸려는 시도라고 보면 된다. 그렇다면 eigenvalue로 decomposition할 수 있다라고 이해하고 접근해보자. 우선 eigenvalue와 eigenvactor를 이전 게시글에 정리를 한 것과 같이 각각 \(A v_i = \lambda_i v_i\)를 만족하는 A, \(v_i\)를 의미한다. 이를 n x n 차원으로 확장해보자.  \(V = [v_1, v_2, .... , v_n] \in \mathbb{R}^{n \times n}\)..
WRTN Campus Leader 1기 회고 음... 너무 늦은 것 같기도 하지만! 뤼튼의 캠퍼스 리더가 어떻게 되고 그동안 어떤 일을 했는지 간단하게 소개해보려고 합니다! 너무 의미 있는 시간들이었고 많은 사람들과 네트워킹하며 느낀 점도 많아서 주절주절 이야기하더라도.... 양해 미리 부탁드립니다! 우선 저는 링크드인에서 아래의 공고를 보고 지원을 했습니다! 저는 당시에 NLP에 한창 빠졌을 때라 대한민국 (대표) 생성형AI 기업인 뤼튼에서 처음으로 만들어진 활동에 도전을 하는게 그리 어렵지는 않았습니다. 저는 지방에 있기도 했지만 여기에서 얻을 수 있는 것이 많을 거라고 의심하지 않았기에 뭐... 안될 가능성 80%로 두고 우선 지원하자!!해서 지원을 하게 되었습니다 ㅎㅎ제가 신청서에 어떤 내용을 작성했는지 자세히 말씀드리는 것보다 그 내용 중..
RNN : Recurrent Neural Network RNN 모델은 자연어처리의 연구과 함께 대두되었던 딥러닝 모델로 Sequence data를 처리하여 특정 Sequence data로 출력으로 변환하도록 훈련된 모델이다. Recurrent 방식은 입력값을 보존하여 기억할 수 있도록 하기에 문장 형식의 데이터나 시계열 데이터, 소리 데이터 등에 적절하게 이용되곤 했다. 하지만 몇가지의 치명적인 단점이 있으며 Transformer 기반의 모델이 등장하고 나서는 자연어 처리 분야에서 많이 사용되지 않고 있다. 그럼에도 불구하고 해당 방식을 Computer Vision이나 여러 알고리즘에서 사용하기에 충분히 집고 넘어가 볼 필요성이 있다.우선 가장 심플한 버전인 Vanila RNN을 확인해자.아마 공부를 했던 사람들에게는 아주 익숙한 장면일 것 같은데, 여기에서..

티스토리툴바