안녕하세요! 에이닷 얼리어닷터 1기로 활동 중인 sinnybb입니다. 오늘은! 면접을 준비하는데 도움이 될만한 프롬프트를 사용하여 에이닷의 LLM을 사용해 보았습니다!
우선 제가 실험하며 작성해본 프롬프트를 소개합니다!
여기서 저는 다음의 내용을 가장 신경쓰며 작성을 해보았습니다.
1. 페르소나
2. 제약조건(입력에 대한 출력의 세부화)
3. "부정문" 작성 지양(제약조건 부분에서 필요한 부분은 사용)
LLM agent에 페르소나를 부여하여 질문을 할 경우 성능이 좋아진다는 것을 많이 알고 있으실 겁니다! 또한 제약조건을 세부화할 수록 사용자의 의도가 명확하게 전달되어 LLM의 action이 보다 정확해지기 때문에 제약조건을 최대 5개 정도로 하여 간단 명료하게 전달을 하는 것이 좋다고 합니다.
여기서 3번의 " '부정문' 작성 지양 "이라는 내용은 여러 프롬프트의 실험 결과를 정리하여 공개한 논문을 참고하였습니다. 간단히 말씀을 드려보자면 왼쪽과 같이 구조화된 프롬프트문이 아니더라도 부정적인(아니다. not, but, isn't,... )과 같은 내용이 들어가는 것보다는 조금 우회하더라도 긍정적인 문맥으로 사용할 경우 성능이 좋다는 실험 결과를 참고하여 작성을 해보았습니다.
지루하지만 재미있는 프롬프트 내용은 여기까지만 하고 바로 LLM 결과 분석을 해보겠습니다!😊 이번에는 Perplexity, GPT4o, Claude(3 Haiku) 3가지의 다른 모델을 한번 확인해보았습니다.
[ 기업 분석 부분 ]
1. Perplexity
2. GPT4o/ 3. Claude (중복 x)
우선 2,3번은 같은 모델의 결과가 아닙니다!(놀랍게도 다른 모델....). 여기서 기업 분석 부분에서 가장 잘 정리된 모델은 Perplexity입니다. 물론 GPT4o와 Claude도 잘 정리되어 나왔지만 면접자 입장에서 기업의 Needs를 파악하고자 할 때, 일반적인 이야기가 아닌 그 기업에 특화된 내용을 알고 싶어하기 때문에 문제 해결 능력, 협업 능력, 기술적 지식으로 정리해주는 결과가 인상적이었습니다. 또한 이를 확인할 수 있는 링크를 달아주기에 그 사실에 대한 신뢰도 또한 확보할 수 있는 것 같았습니다!
[ 질문 의도 파악 & 대답 피드백 ]
1. Perplexity
2. GPT4o/ 3. Claude (중복 x)
우선, 이 부분 또한 GPT4o와 Claude의 내용이 동일하다는 점에서 약간의 의문이 들기는 했지만 이 부분에 한해서는 GPT4o와 Claude가 정리가 깔끔하여 확인이 쉽게 작성이 되어 있습니다. 또한 모든 LLM이 질문에 대한 의도를 자세하게 파악을 해주었지만 가장 중요한 수정 이유는 Perplexity가 가장 깔끔하고 사용자에게 필요한 피드백을 준 것으로 확인이 됩니다.
이렇게! 간단하지만 유용할 것 같은(?) 프롬프트를 사용해서 LLM을 다시 한 번 비교를 해봤는데요, 생각보다 Perplexity의 성능이 좋다는 점(조금 느리긴 하지만.. ㅎㅎ)과 GPT4o와 Claude의 유사성이 크다는 점에서 놀랐습니다!(다른 결과 입니다... 저도 놀랐어요...) 이 프롬프트가 여러분에게도 유용할지는 모르겠지만 이 프롬프트에서 회사나 원하시는 agent의 능력을 제약조건에 설정하여 사용하지면 아주 효율적인 삶을 영위하실 수 있으실 겁니다!!! 😊
참고 논문 : Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4
'Activity > Earlyadottor with sk에이닷' 카테고리의 다른 글
| 에이닷으로 LLM 전격 비교해보기! (feat. 어도어-민희진 사건) (12) | 2024.09.20 |
|---|
