티스토리

lou@blog $ _
검색하기

블로그 홈

lou@blog $ _

jizard.tistory.com/m

지식은 점에서 선으로

구독자
11
방명록 방문하기

주요 글 목록

  • Agent를 고도화하면서 겪은 문제점들 Tool이 늘어날 수록 멍청해지고, Input Token도 빠르게 소모했음다소 무의미해보이는 도구 호출 증가Tool 설명을 위한 Input Token의 증가Tool을 줄이기 위한 노력CAG 활용 → 관련되지 않은 질문에도 들어갔기 때문에 Input Token이 심하게 소모되어 비슷하고 항상 같이 사용되는 Tool을 하나로 합치는 방향으로 다시 작업계속 같은 패턴으로 사용하는 도구를 하나로 합침 → 회사 정보조회 도구Slack 채널을 조회하는 도구Slack UserGroup을 조회하는 도구Slack UserGroup 소속 멤버를 조회하는 도구Tool 설명을 간결하고 명확한 방향으로 수정거대해진 프롬프트, 이를 무시하는 LLMClaude는 주어진 문제에 적절한 도구를 잘 사용하지만, 친근하게 대하라는 Sys.. 공감수 3 댓글수 0 2025. 4. 9.
  • LangGraph Agent에 장기기억(LTM)추가하기 LangGraph로 만든 Agent에 장기 기억을 추가하기 위해서는 기존 그래프에 새로운 노드와 도구를 추가해야한다.노드대화 전 저장된 기억을 불러오는 노드 (load_memories)도구관련 기억을 검색해서 가져오는 도구 (SearchRecallMemoriesTool)기억하는 도구 (SaveMemoriesTool)load_memories 노드가 하는 일?load_memories 노드부터 살펴보겠다. load_memories는 Agent가 작업을 처리하기 시작할때 이전 대화 내용을 기반으로 관련된 기억을 불러오는 노드다. 불러온 기억은 State에 [”recall_memories”]로 저장되고, 이는 나중에 기억과 관련된 SystemPrompt에 Context로서 제공된다.load_memories를 어떻.. 공감수 2 댓글수 0 2025. 4. 3.
  • LangGraph ReAct Agent 커스터마이즈하기 Langgraph.prebuilt의 create_react_agent를 이용해 ReAct Agent를 생성하면 이미 StateGraph가 컴파일되어서 반환되기때문에 이걸로 Agent를 만들면 워크플로우를 수정할 수 없다. Agent를 개발하다보니 추가적인 단계를 정의해야할 일이 생겨 더 이상 create_react_agent를 사용할 수 없었다. 그래서 create_react_agent의 코드를 분석해서 커스터마이즈 가능하도록 일부 코드들을 들고와서 create_custom_react_agent를 만들었다. StateGraph가 컴파일 되기전에 customize_workflow로 graph를 받아서 추가로 workflow를 수정한 뒤에 컴파일 할 수 있다. 주석도 열심히 달아두었기때문에 처음부터 ReAc.. 공감수 2 댓글수 0 2025. 4. 1.
  • 반쪽짜리 Contextual Retrieval로 RAG 강화 해보기 2024년 9월 20일, Anthropic은 Contextual Retrieval이라는 개념을 제시했다. Contextual Retrieval은 기존의 RAG의 검색 성공률을 향상시키기 위한 방법으로, Contextual Embeddings와 Contextual BM25의 두가지 하위 기술을 사용한다. Anthropic에 따르면 이 방법을 이용할 경우 실패한 검색 수를 49%까지 줄일 수 있으며, ReRanking과 함께 사용하면 67%까지 줄일 수 있다고한다. 최근에는 RAG에 이어 CAG(Cache-Augmented Generation)도 등장했다. CAG는 더 길어진 LLM의 Context Window를 충분히 활용하여, 검색 증강하려는 문서의 전체 내용이 Context Window에 들어갈 수 있.. 공감수 2 댓글수 0 2025. 3. 26.
  • 사내 AI Agent 구축기 이건 정말 Agent를 만들어야하는데...사원들의 온보딩을 위해 회사업무에 필요한 질문에 대한 답변들을 제공해주는 챗봇을 개발하게 되었다. 노션도, 슬랙도 통합해야하고 사용자의 다양한 질문에 대답할 수 있어야했다. 꼼짝없이 Agent를 만들어야할 순간이 왔다. 이때까지도 번역을 위한 작은 RAG앱만 만들어본터라, Agent를 개발하는 것은 좀 막막했다. 심지어 시작은 신입 “개발자”들을 위한 챗봇이었다. 기본적인 회사 문서들 외에 코드베이스도 통합해야했다. 코드베이스 통합을 위해서 이리저리 찾아보다가 Codegen의 CodeAgent를 사용해봤다. CodeAgent를 사용하면서 어떻게 Agent를 개발해야하는지에 대한 많은 힌트를 얻었다. 내가 개발한 Agent도 CodeAgent와 크게 다르지않다. 그.. 공감수 2 댓글수 1 2025. 3. 11.
  • [ComfyUI] Workflow를 Python API로 만들기 ComfyUI로 구성한 Workflow를 Python API로 만드는 방법을 공유한다. ComfyUI 서버에 HTTP/Websocket 통신을 하는 구조로 되어있기 때문에 사실 어떤 언어든 가능하다. 노드 ID의 확인과 사용예시로, Text 프롬프트를 읽고 이미지를 출력하는 Workflow가 있다고하면 ComfyUI에서는 이런 TextInput Node를 준비하고, 이 노드의 출력을 CLIP Prompt 노드의 STRING 포트와 연결한다. 이 노드의 우측상단 귀퉁이에는 #37이라는 번호가있는데, 이것이 노드 ID다. Workflow를 API 형태로 Export하고JSON 파일을 열어보면 “37”번 키에 해당 노드의 정보가 들어있음을 알 수 있다. 우리는 이런식으로 JSON 파일을 읽고, 입력값을 바꾸길.. 공감수 2 댓글수 0 2025. 1. 21.
  • [ComfyUI] AI를 이용한 배너광고 자동 생성 워크플로우 가능한 사람의 손을 거치지 않고 다음과 같은 형식의 배너 광고를 생성하는 것이 나의 목표였다.사실 이 첨부사진은 자동으로 만들어낸 이미지다!입력으로는 게임 일러스트 사진을주고, 광고 문구를 제공해주었다.이 광고 배너를 만든 ComfyUI 워크플로우를 하나하나 뜯어보면서 어떻게 구성했는지 설명해보겠다. Step1. 배너 크기만큼 늘리기어떤 AspectRatio를 가진 이미지라도 가로배너 이미지로 만들어주기 위해 좌측의 Padding 값을 계산하는 단계다. 세로형 이미지의 경우 이미지가 정방형이라고 가정했을때 생기는 좌우 패딩만큼의 간격을 오른쪽에 추가해준다. 을 하게되면 패딩한 만큼 이미지 옆에 회색 공간이 생기고, 마스크도 그에 맞춰서 생성된다. Step2. 마스킹된 영역 흐리게 채우기이전 단계에서 마스.. 공감수 6 댓글수 6 2025. 1. 17.
  • CivitAI 모델 wget으로 다운받는법 wget https://civitai.com/api/download/models/?token= --content-disposition 토큰의 경우 https://civitai.com/user/account 에 가서 API Key를 생성하면된다. 공감수 0 댓글수 0 2025. 1. 17.
  • [LangChain] LLM Workflow: Routing 구현 Routing은 이전 단계의 결과에따라 다음 단계를 비결정적으로 정의할 수 있도록 한다.  RunnableLambda 혹은 RunnableBranch를 이용하는 방법이있지만, 현재는 RunnableLambda를 사용하는 방법이 권장된다.  RunnableLambda는 Python callable을 Runnable로 바꿔주기만하는데, 별도로 RunnableBranch를 사용하기보다는 Python 코드 분기문을 통해 처리를 하라는 것이다. 실습유저의 질문이 파이썬 혹은 코틀린 프로그래밍과 관련 있을 경우, 이에 최적화된 프롬프트로 답변할 수 있도록 분기처리를 추가해볼 것이다. 먼저, 질문이 파이썬이나 코틀린과 관련되어있는지만 확인하는 체인을 준비한다.from langchain_core.prompts impo.. 공감수 1 댓글수 0 2025. 1. 14.
  • [LangChain] LLM Workflow : 병렬처리 구현 실행하려는 체인들이 각각 독립적일때, 메모리를 더 사용해서 수행시간을 단축시키기 위해 체인을 병렬처리할 수 있다. RunnableParallel을 이용해 체인을 병렬처리해보았다. RunnableParallel역시 다른 Runnable~시리즈처럼 Runnable 표준 인터페이스를 상속한다. 구현코드제공된 주제에 따라 간단한 설명과, 시를 써달라는 요청을 했다.from langchain_ollama.llms import OllamaLLMmodel = OllamaLLM( model="gemma2:2b")from langchain_core.prompts import PromptTemplateprompt1 = PromptTemplate.from_template( """ {topic}에 대해서 1줄.. 공감수 1 댓글수 0 2025. 1. 14.
  • [LangChain] LLM Workflow : Chaining 구현 LLM을 이용한 애플리케이션을 만들때, 가장 단순한 구조는 사용자의 입력을 받아 LLM이 질문에 대해 응답을 생성하고, 출력하는 Input - LLM - Output으로 이루어진 체인이다. 작업 요구 사항에 따라 여러 단계의 과정이 추가되어야하거나, 혹은 하나의 LLM에서 나온 응답을 다음 LLM이 받아서 처리하는 연속적인 처리 구조로 만들어야할 수 있다. 이러한 체이닝 구조의 워크플로우를 LangChain을 이용해 구현해보았다. LangChain에서 실행가능한 모든 것들은 Runnable이다. 이 Runnable은 LCEL이라는 LangChain에서 사용하는 도메인 랭귀지를 이용해 선언적으로 사용할 수 있다. | 연산자를 이용해 이전단계의 출력을 다음단계로 보내는 식이다.chain = (prompt |.. 공감수 3 댓글수 0 2025. 1. 13.
  • 프롬프팅 팁 애매모호함 피하기프롬프트 엔지니어링의 개념을 설명해 줘. 설명은 간결하게 몇 문장으로만 하고 너무 자세히는 하지 말아 줘.>> 프롬프트 엔지니어링은 인공지능(AI) 모델을 효율적으로 훈련시키기 위해 설계된 훈련 질문을 만드는 기술입니다. 이는 학습 과정에 도움을 주고, AI의 성능과 정확도를 향상시킬 수 있도록 신중하게 작성된 질문이나 프롬프트를 만들어내는데 초점을 맞춥니다. 이 과정은 인간의 전문 지식, 언어학, 그리고 머신러닝 원리를 결합하여 교육적 가치를 높이고 모델의 일반화 능력을 강화하는 것을 목표로 합니다.고등학생에게 프롬프트 엔지니어링의 개념을 2~3문장으로 설명해줘>> 프롬프트 엔지니어링은 인공지능(AI)이 학습하고 더 잘 이해할 수 있도록 설계된 질문이나 프롬프트를 만드는 기술입니다. 이.. 공감수 2 댓글수 0 2025. 1. 9.
  • 프롬프팅의 기법 제로샷 프롬프팅(Zero-shot Prompting)어떤 예시나 설명없이 직접 모델에 응답을 요구하는 프롬프팅.Q: 2+2는 무엇인가요?A:>> 4입니다. 원샷 프롬프팅(One-shot Prompting)하나의 예시를 제공하여 응답을 요구하는 프롬프팅. 퓨샷 프롬프팅(Few-shot Prompting)몇 가지 예시를 제공하여 응답을 요구하는 프롬프팅.Q: 2+2는 무엇인가요?A: 4Q: 2*6은 무엇인가요?A: 12Q: 2/2?A: 1Q: 2^8?A:>> A: 256 CoT(Chain-of-Thought Prompting, 생각의 사슬)중간 추론 단계를 통해 복잡한 추론을 가능하게 하는 프롬프팅.CoT가 없는 프롬프트:이 집합 {4, 8, 9, 15, 12, 2, 1}에서 홀수의 합은 짝수입니다.A: 답.. 공감수 5 댓글수 1 2025. 1. 9.
  • Langchain으로 간단한 RAG 구현하기 Langchain으로 소설 "난쟁이가 쏘아올린 작은 공" PDF 문서에 대한 답변을 제공해 줄 수 있는 간단한 RAG 애플리케이션을 구현했다. (코드에 대한 설명은 Gist 주석으로 대신한다.) 아직 잘 모르는 상태로 무작정 다이브했으니, 간단하게 개념을 정리하겠다. LLM이 답변을 지어내는 것을 방지하고, 커스텀한 컨텍스트 제공을 위해 LLM을 이용한 챗봇에는 검색증강생성(RAG)라는 기술을 사용한다. RAG 애플리케이션은 일반적으로 두 구성요소로 이루어진다. 1. 인덱싱(Indexing) - 소스에서 데이터를 수집하고 인덱싱하는 과정2. 검색과 생성(Retrieval and generation) - 유저에게 쿼리를 받아서 인덱스에서 관련 데이터를 찾아 모델에게 전달하는 실질적인 RAG 체인이다. 인.. 공감수 1 댓글수 0 2025. 1. 8.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.