HuggingFace LLM CourseIntroduction to Reinforcement Learning and its Role in LLMsWhat is Reinforcement Learning?현실 세계의 예시만약 내가 강아지에게 "앉아"를 훈련시킨다면?강아지에게 앉으라고 말함강아지가 앉음 -> 보상강아지가 앉지 않음 -> 알려주거나 다시 시도함이를 반복하며 강아지는 앉아를 배우게 된다.Reinforcement Learning에서는Feedback을 reward라고 부름강아지 대신 Language Model을 훈련 (Reinforcement Learning에서 이것을 agent라고 부름)나(피드백 주는 사람) 대신 environment를 가짐RL을 key piece들로 나누면AgentLearner위..

시작하며오픽을 공부하며 느낀 내 경험을 기반으로 만들게 되었다.나는 토종 한국인으로서, 영어 말하기에 대한 연습을 26년 동안 따로 진지하게 해본 적이 없다. 읽기/듣기만 공부했고, 그마저도 귀가 안좋아서 듣기도 잘 못한다. 그나마 다행인 것은 Reading 실력은 나쁘지 않다는 것?그래도 이제 정신차려보니 영어 회화가 너무 중요해졌다. 특히 개발자로서 해외에도 나가보는게 꿈인 나는 영어 회화가 필수적이었다.현재 상황영어를 한 마디도 못하는 내가 현대모비스에 지원하기 위해 공부도 안해보고 OPIc시험을 봤다. 주변 형들이 오픽은 공부안해도 IH는 나온다고 해서 그냥 봤었다.내 이름처럼 IM1이 나왔다. 이 성적 때문인진 몰라도 현대 모비스에 떨어졌다.현재 나는 아주 짧은 한 두문장의 영어 표현은 가능하지..

개요마지막으로 browser_use tool과 run_flow를 정리하고, 실행결과를 확인해보겠습니다.설명browser_use_toolBROWSER_DESCRIPTION _BROWSER_DESCRIPTION = """ Interact with a web browser to perform various actions such as navigation, element interaction, content extraction, and tab management. Supported actions include: - 'navigate': Go to a specific URL - 'click': Click an element by index - 'input_text': Input text into an ..

개요이전 리뷰 보기 : OpenManus 리뷰 1, OpenManus 리뷰 2리뷰 1,2에서 OpenManus 주요한 main Class들에 대해 다루었습니다.main logic에 따라 참여하는 코드는 모두 다루었다고 할 수 있습니다.다만, OpenManus에서 Unstable version으로 공개한 runflow 코드와 Tool 관련 코드가 아직 정리되지 않았습니다. 따라서 이번에 Tool 관련 코드를 정리하고 다음 글에서, runflow 코드를 정리하고 마지막 글로 마무리를 하면 될 것 같습니다.설명BaseToolBaseTool's 클래스 변수 name: str description: str parameters: Optional[dict] = NoneTool의 부모 Class인 BaseTool..

개요 [ 코드리뷰 ] OpenManus(1) 에서 주요한 클래스들을 다루었습니다. 그 내용은 아래와 같습니다.Manus -> ToolCallAgent를 상속하는 실제 서비스 AI Agent입니다.ToolCallAgent -> ReActAgent를 상속하는 기본적인 도구를 호출하고 다루는 Agent입니다.자세한 설명은 위 링크를 통해서 확인해보면 좋을 것 같습니다.이번 글에서는 아래의 내용을 다루려고 합니다.ToolCallAgent가 상속하는 기본 행동 Agent(ReActAgent)ReActAgent가 상속하는 BaseAgent또한, 어제 작성했던 글을 제가 직접 보니 계속해서 코드를 같이 확인하기 위해 위 아래로 왔다갔다 해야하는 것이 좀 불편했습니다. 그래서 이번에는 설명 별로 코드를 잘라 작성하겠..

개요2025년 들어 LLM으로 핫한 주제가 매주 바뀌는 것 같습니다. Deepseek-r1 이후로 사람들의 llm에 대한 많은 관심을 가져 더 화제가 되는 것도 같습니다.이번주는 OpenManus라고 Opensource로 공개된 AI Agent입니다.OpenManus가 화제가 된 이유는 최초로 공개된 OpenSource AI Agent이기 때문으로 보입니다.이해를 돕기위해 코드를 첨부하니 내용이 꽤 많아, 오른쪽 목차를 이용하여 필요한 부분을 찾아 보시기를 추천드립니다.생각보다 내용이 너무 많은 것 같아서 여러 편에 걸쳐서 리뷰하려고 합니다.마지막 review에서는 총 정리와 실제 사용 후기를 리뷰하겠습니다.OpenManusOpenManus Github해당 링크로 접속하여 OpenManus 코드를 확인할..

개요AI agent 공부하다 아래와 같이 operator를 이용하는 부분을 만났습니다. 처음 보는 것 같아 찾아보게 되었고, 자주 쓸 것 같아서 기록해봅니다.## Graphclass State(TypedDict): topic : str # report topic sections : list[Section] completed_sections : Annotated[ list, operator.add # operator가 뭐지 ] final_report : str설명operator 모듈은 파이썬의 내장 연산자에 해당하는 효율적인 함수 집합을 내보냅니다.예를 들어, operator.add(x,y) 라고 한다면 x+y 와 동일한 결과라는 것입니다.종류종류가 매우 많기에..

데이터 사이언스데이터 사이언스의 개념대량의 데이터를 처리하는 여러 학문 분야가 관련된 학문입니다.엄청난 양의 데이터를 수집, 저장, 분석, 처리하는 분야데이터를 다루는 방법론, 프로세스, 알고리즘, 시스템이런 업무를 효율적으로 관리하고 분석하는 학문적 바탕데이터에 대한 직관력을 획득할 수 있게 해주는 학문 분야데이터 사이언스의 과정데이터 준비 -> 결과 분석 ( 데이터 사이언티스트 ) -> 통찰력 획득 ( 비즈니스 리더 )데이터 사이언티스트는 데이터 사이언스를 실천하는 사람데이터 사이언스가 중요한 이유데이터의 90%가 지난 2년 간 생성된 것입니다.데이터 해석이 사회의 혁신적인 이점을 가져옵니다.데이터 사이언스의 장점추세를 보여줍니다.기업의 제품 및 서비스 생산에 혁신적 통찰력을 제공합니다.비즈니스 분석..

시험 2일 남기고 정리하는 7,8,9,10주차딥러닝 프레임워크딥러닝 실행을 위한 5가지 요소데이터딥러닝은 데이터를 이용하여 예측 또는 판별을 수행합니다.데이터는 2가지 종류가 있습니다.컴퓨터개인 PCCPU/GPU를 사용합니다.OS도 영향을 미칩니다.Cloud 형태 ( ex, colab )GPU 사용이 가능합니다.고성능 서버ex) NVIDIA DGX 시스템 GPU 사용 가능합니다.클라이언트로 접속하여 고성능 서버를 나눠 사용하는 형태입니다.프로그래밍 언어Python고급 프로그래밍 언어입니다.특징플랫폼에 독립적입니다.인터프리터식으로 동작합니다.객체 지향적입니다.동적 타이핑 대화형 언어입니다.라이브러리가 굉장히 강력하다는 특징이 있습니다.자주 사용하는 라이브러리 및 특징아나콘다 = 파이썬 + 주요 패키지C++..

기계학습 수업의 과제로 한국어 텍스트 데이터를 활용한 영화 리뷰 분류 문제를 풀게 되었습니다.그 내용 중 문자열 데이터를 다룰 때 사용되는 BoW에 대해서 정리합니다.Bag of Words란말 그대로 단어들의 가방의 역할을 하는 방법론입니다,단어들의 순서는 전혀 고려하지 않고, 단어들의 출현 빈도에만 집중하는 텍스트 데이터의 수치화 표현합니다.BoW를 만드는 과정을 두 가지로 생각하면 다음과 같습니다.(1) 각 단어에 고유한 정수 인덱스를 부여하여 단어 집합 생성(2) 각 인덱스의 위치에 단어 토큰의 등장 횟수를 기록한 벡터 생성예제문장 : 정부가 발표하는 물가상승률과 소비자가 느끼는 물가상승률은 다르다.해당 문장에 대해서 BoW를 만드는 코드는 다음과 같습니다.from konlpy.tag import ..