lou@blog $ _

[LangChain] LLM 워크플로우 : Routing 구현

Routing은 이전 단계의 결과에따라 다음 단계를 비결정적으로 정의할 수 있도록 한다.  RunnableLambda 혹은 RunnableBranch를 이용하는 방법이있지만, 현재는 RunnableLambda를 사용하는 방법이 권장된다.  RunnableLambda는 Python callable을 Runnable로 바꿔주기만하는데, 별도로 RunnableBranch를 사용하기보다는 Python 코드 분기문을 통해 처리를 하라는 것이다. 실습유저의 질문이 파이썬 혹은 코틀린 프로그래밍과 관련 있을 경우, 이에 최적화된 프롬프트로 답변할 수 있도록 분기처리를 추가해볼 것이다. 먼저, 질문이 파이썬이나 코틀린과 관련되어있는지만 확인하는 체인을 준비한다.from langchain_core.prompts impo..

[LangChain] LLM Workflow : 병렬처리 구현

실행하려는 체인들이 각각 독립적일때, 메모리를 더 사용해서 수행시간을 단축시키기 위해 체인을 병렬처리할 수 있다. RunnableParallel을 이용해 체인을 병렬처리해보았다. RunnableParallel역시 다른 Runnable~시리즈처럼 Runnable 표준 인터페이스를 상속한다. 구현코드제공된 주제에 따라 간단한 설명과, 시를 써달라는 요청을 했다.from langchain_ollama.llms import OllamaLLMmodel = OllamaLLM( model="gemma2:2b")from langchain_core.prompts import PromptTemplateprompt1 = PromptTemplate.from_template( """ {topic}에 대해서 1줄..

LLM을 이용한 애플리케이션을 만들때, 가장 단순한 구조는 사용자의 입력을 받아 LLM이 질문에 대해 응답을 생성하고, 출력하는 Input - LLM - Output으로 이루어진 체인이다. 작업 요구 사항에 따라 여러 단계의 과정이 추가되어야하거나, 혹은 하나의 LLM에서 나온 응답을 다음 LLM이 받아서 처리하는 연속적인 처리 구조로 만들어야할 수 있다. 이러한 체이닝 구조의 워크플로우를 LangChain을 이용해 구현해보았다. LangChain에서 실행가능한 모든 것들은 Runnable이다. 이 Runnable은 LCEL이라는 LangChain에서 사용하는 도메인 랭귀지를 이용해 선언적으로 사용할 수 있다. | 연산자를 이용해 이전단계의 출력을 다음단계로 보내는 식이다.chain = (prompt |..

애매모호함 피하기프롬프트 엔지니어링의 개념을 설명해 줘. 설명은 간결하게 몇 문장으로만 하고 너무 자세히는 하지 말아 줘.>> 프롬프트 엔지니어링은 인공지능(AI) 모델을 효율적으로 훈련시키기 위해 설계된 훈련 질문을 만드는 기술입니다. 이는 학습 과정에 도움을 주고, AI의 성능과 정확도를 향상시킬 수 있도록 신중하게 작성된 질문이나 프롬프트를 만들어내는데 초점을 맞춥니다. 이 과정은 인간의 전문 지식, 언어학, 그리고 머신러닝 원리를 결합하여 교육적 가치를 높이고 모델의 일반화 능력을 강화하는 것을 목표로 합니다.고등학생에게 프롬프트 엔지니어링의 개념을 2~3문장으로 설명해줘>> 프롬프트 엔지니어링은 인공지능(AI)이 학습하고 더 잘 이해할 수 있도록 설계된 질문이나 프롬프트를 만드는 기술입니다. 이..

제로샷 프롬프팅(Zero-shot Prompting)어떤 예시나 설명없이 직접 모델에 응답을 요구하는 프롬프팅.Q: 2+2는 무엇인가요?A:>> 4입니다. 원샷 프롬프팅(One-shot Prompting)하나의 예시를 제공하여 응답을 요구하는 프롬프팅. 퓨샷 프롬프팅(Few-shot Prompting)몇 가지 예시를 제공하여 응답을 요구하는 프롬프팅.Q: 2+2는 무엇인가요?A: 4Q: 2*6은 무엇인가요?A: 12Q: 2/2?A: 1Q: 2^8?A:>> A: 256 CoT(Chain-of-Thought Prompting, 생각의 사슬)중간 추론 단계를 통해 복잡한 추론을 가능하게 하는 프롬프팅.CoT가 없는 프롬프트:이 집합 {4, 8, 9, 15, 12, 2, 1}에서 홀수의 합은 짝수입니다.A: 답..

에포크(Epoch)전체 데이터셋을 한 번 완전히 학습하는 단위로, 여러 epoch를 거치면서 모델이 점진적으로 학습된다.과적합(Over fitting)모델이 학습 데이터에 너무 맞춰져서 새로운 데이터에 대한 일반화 성능이 떨어지는 현상이다.손실(Loss)모델의 예측값과 실제값의 차이를 수치화 한 것으로, 학습 과정에서 이를 최소화 하는 것이 목표다.배치 크기(Batch Size)한 번에 처리하는 데이터의 양으로, 메모리 사용량과 학습 속도에 영향을 미친다.학습률(Learning Rate)모델이 한 번에 얼마나 많이 학습할지 결정하는 하이퍼파라미터로, 너무 크면 학습이 불안정하고, 너무 작으면 학습이 느리다.검증세트(Validation Set)학습 중간에 모델의 성능을 평가하고 과적합을 감지하기 위해 사용..

Langchain으로 소설 "난쟁이가 쏘아올린 작은 공" PDF 문서에 대한 답변을 제공해 줄 수 있는 간단한 RAG 애플리케이션을 구현했다. (코드에 대한 설명은 Gist 주석으로 대신한다.) 아직 잘 모르는 상태로 무작정 다이브했으니, 간단하게 개념을 정리하겠다. LLM이 답변을 지어내는 것을 방지하고, 커스텀한 컨텍스트 제공을 위해 LLM을 이용한 챗봇에는 검색증강생성(RAG)라는 기술을 사용한다. RAG 애플리케이션은 일반적으로 두 구성요소로 이루어진다. 1. 인덱싱(Indexing) - 소스에서 데이터를 수집하고 인덱싱하는 과정2. 검색과 생성(Retrieval and generation) - 유저에게 쿼리를 받아서 인덱스에서 관련 데이터를 찾아 모델에게 전달하는 실질적인 RAG 체인이다. 인..

AI 모델이 사용하는 모든 데이터는 숫자로 표현되어이햔다. 텍스트, 오디오, 비디오 같은 비정형 데이터를 모두 -1과 1 사이의 숫자로 표현하는 방법을 벡터 임베딩이라고 한다. AI 모델은 단어 사이의 거리를 계산해서 가장 가까운 단어를 조합하는 방식을 사용한다. 각 단어를 수치화 하여 이 단어들을 다차원 공간에서 점으로 표현하면 문맥상 관련된 단어는 서로 가까운 벡터를 갖게된다. 이러한 표현은 AI 모델이 데이터의 유사점과 차이점을 이해하는데 도움이 된다.

Large Language Model - 방대한 양의 데이터로 사전 학습된 초대형 딥 러닝 모델. 트랜스포머 모델이라고 하는 일종의 신경망을 기반으로 한다. 트랜스포머 모델트랜스포머 모델은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망 예측할 수 없는 쿼리에 대해 대응 할 수 있고, 구조화되지 않은 질문이나 프롬프트에도 답변할 수 있다. 하지만 LLM은 수집하는 데이터만큼만 신뢰할 수 있는 정보를 제공하므로, 정확한 답변을 내놓을 수 없을때면 가짜 정보를 생성한다. 이를 "할루시네이션(Hallucination)"이라고 한다. 대표적으로 유명한 "세종대왕 맥북 던짐사건"짤이 있다. AI 모델은 확률을 사용하여 어떤 단어나 시각적 요소가 나타날지 '예측'하는데하므로 일부..

얼마전 뜨거운 순간 기능을 업데이트하면서, DB도 추가하고 채팅 처리 파이프라인을 따로 빼면서 평소 해보고 싶었던 기능을 추가해보기로 했다. 그건 바로 키워드 알림! 예를 들어서 내가 스트리머가 "발헤임"이라는 게임을 정말 해주길 기다리고있는데, 채팅에서 "발헤임"이라는 키워드가 나왔을 경우 정말 그것과 관련한 이야기를 하고 있을 확률이 높다. 이렇게 내가 방송을 보지 못하는 순간에도 관련된 키워드가 언급되었는지 확인 하기위한 용도로 은 유용하게 쓰일 수 있다. Discord로 로그인키워드 알림기능을 오랫동안 망설였던 이유 중의 80%는 이 서비스에 'DB가 없었다'였지만, 20%는 '로그인이 없었다'였다. 그렇다! 로그인을 추가해야한다. 단순히 유저 식별만 가능하면되므로, Discord OAuth2를 ..