프로그래밍/단어장 14

파인 튜닝 관련 용어

에포크(Epoch)전체 데이터셋을 한 번 완전히 학습하는 단위로, 여러 epoch를 거치면서 모델이 점진적으로 학습된다.과적합(Over fitting)모델이 학습 데이터에 너무 맞춰져서 새로운 데이터에 대한 일반화 성능이 떨어지는 현상이다.손실(Loss)모델의 예측값과 실제값의 차이를 수치화 한 것으로, 학습 과정에서 이를 최소화 하는 것이 목표다.배치 크기(Batch Size)한 번에 처리하는 데이터의 양으로, 메모리 사용량과 학습 속도에 영향을 미친다.학습률(Learning Rate)모델이 한 번에 얼마나 많이 학습할지 결정하는 하이퍼파라미터로, 너무 크면 학습이 불안정하고, 너무 작으면 학습이 느리다.검증세트(Validation Set)학습 중간에 모델의 성능을 평가하고 과적합을 감지하기 위해 사용..

벡터 임베딩(Vector Embedding)

AI 모델이 사용하는 모든 데이터는 숫자로 표현되어이햔다. 텍스트, 오디오, 비디오 같은 비정형 데이터를 모두 -1과 1 사이의 숫자로 표현하는 방법을 벡터 임베딩이라고 한다. AI 모델은 단어 사이의 거리를 계산해서 가장 가까운 단어를 조합하는 방식을 사용한다. 각 단어를 수치화 하여 이 단어들을 다차원 공간에서 점으로 표현하면 문맥상 관련된 단어는 서로 가까운 벡터를 갖게된다. 이러한 표현은 AI 모델이 데이터의 유사점과 차이점을 이해하는데 도움이 된다.

LLM의 뜻과 한계 (할루시네이션, 지식단절현상)

Large Language Model - 방대한 양의 데이터로 사전 학습된 초대형 딥 러닝 모델. 트랜스포머 모델이라고 하는 일종의 신경망을 기반으로 한다. 트랜스포머 모델트랜스포머 모델은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망 예측할 수 없는 쿼리에 대해 대응 할 수 있고, 구조화되지 않은 질문이나 프롬프트에도 답변할 수 있다. 하지만 LLM은 수집하는 데이터만큼만 신뢰할 수 있는 정보를 제공하므로, 정확한 답변을 내놓을 수 없을때면 가짜 정보를 생성한다. 이를 "할루시네이션(Hallucination)"이라고 한다. 대표적으로 유명한 "세종대왕 맥북 던짐사건"짤이 있다. AI 모델은 확률을 사용하여 어떤 단어나 시각적 요소가 나타날지 '예측'하는데하므로 일부..

수직 동기화(V-Sync), 화면 찢김, 스터터링, 삼중 버퍼링

주사율과 프레임률주사율은 화면 재생 빈도(Refresh Rate)라고도 하며, 모니터가 1초동안 화면을 몇 번 갱신하는지를 말한다. 단위로는 Hz를 사용하며 144Hz는 1초에 화면을 144단계로 쪼개서 보여줄 수 있다는 의미다. CRT 모니터에서는 이를 수직 재생 빈도 또는 수직 주파수라고 부른다. 프레임 속도(Frame Rate)또는 프레임률은 디스플레이 장치가 화면 하나의 데이터를 표시하는 속도를 말한다. 픽셀들로 이루어진 하나의 정지된 이미지를 "프레임"이라고 부르는데, 프레임률은 이러한 이미지들이 1초에 몇번 보이는지를 말한다. 단위는 fps(Frames per second)를 사용한다. 주사율은 동일한 프레임을 반복하는 회수를 포함하여 나타내므로, 60fps 영상을 120Hz 디스플레이에서 는..

크로미움(Chromium), 그리고 브라우저 엔진들

Chromium 크로미움(Chromium)은 구글이 주도하는 오픈소스 웹 브라우저 및 OS 프로젝트의 이름이다. 구글의 크롬도 크로미움 소스코드를 기반으로 만들어진 것이며 많이들 쓰는 엣지, 웨일, 브레이브, 오페라 등의 브라우저도 크로미움 기반이다. 크로미움 브라우저와 OS는 https://www.chromium.org/chromium-projects/ 에서 직접 다운받아 볼 수 있다. 그러면 대부분의 브라우저가 크로미움아닌가? 의문이 든다.당연히 아니다! 브라우저 엔진부터 간단히 짚고 다른 브라우저들도 소개해 보겠다. 브라우저 엔진브라우저 엔진은 브라우저가 동작하는데 필요한 핵심 구성요소다. HTML,CSS,XML등 의 문서를 읽고 사용자가 볼 수 있는 화면으로 표시하는 "렌더링 엔진" 혹은 "레이아..

QR코드의 구성

중국에 잠깐 경유하며 여행을 했을때 느꼈던 놀랍고도 편리한 점 중하나는 QR코드가 모든 분야에서 사용되고 있었다는 것이다. 대만 여행차 들렀기때문에 중국 돈은 한 푼도 없었지만 지하철도 타고, 가챠도 할 수 있었고 음식점, 편의점까지 휴대폰 하나만 딸랑들고 가능했다.  QR코드의 QR은 Quick Response의 줄임말이라고 한다. 무려 1994년, 일본에서 개발되었는데 본격적으로 사용되기 시작한 건 스마트폰의 등장 이후다. QR코드의 구성 이 이미지가 QR코드의 구성요소를 가장 잘 설명해주고 있어서 들고왔다.  1. 경계 또는 마진 (Quiet Zone)QR코드의 원활한 인식을 위해 반드시 필요한 여백이다. 2. 파인더 또는 위치 지정 패턴(Positioning Pattern/Marker)QR코드의 ..

RFID와 NFC

RFID (Radio Frequencey Identification)RFID는 주파수를 이용해 ID를 식별하는 방식으로, 전자태그라고도 불린다. 이 점은 바코드와 유사한데, 바코드와 다른점은 더 긴거리, 그리고 직접적인 접촉 없이 사이에 있는 물체를 통과해서도 식별이 된다는 점이다.  RFID는 태그의 전원 유무에 따라 수동형, 혹은 능동형, 반수동형 3가지로 나누어진다. 수동형 태그(Passive Tag)태그 자체에 직접적인 전원을 필요로하지 않고 판독기(Reader)의 동력만으로 칩의 정보를 읽고 통신하는 형태다. 구조가 간단하고 비용이 저렴하다는 장점이 있다. 상대적으로 인식거리가 짧다는 단점이 있다.우리가 사용하는 교통카드가 바로 수동형 태그의 대표적인 예시다. 능동형 태그(Active Tag)태..

SIM, USIM, eSIM

SIM(Subscriber Identity Module)SIM은 Subscriber Identity Module의 약자로, 가입자 식별 모듈이라는 뜻이다. SIM은 GSM 휴대전화 단말에 부착되어 이동통신망 서비스에 접근하거나, 가입자 인증, 보안 기능을 위해 사용되는 IC 모듈을 말한다. GSM은 유럽의 전기 통신 표준 협회(ETSI)에서만든 표준으로, 2세대 셀룰러 네트워크 프로토콜이다. 이 시스템의 휴대전화에서 사용자 인증을 목적으로 SIM 카드가 도입된 것이다. 2G가 GSM이라면, 3G는 UMTS, 4G는 LTE가 있다. SIM은 규격에 따라 Full-size SIM, Mini SIM, Micro SIM Nano SIM 등으로 나눠진다. 최초의 SIM 카드는 신용카드 크기의 Full-Size S..

근거리 무선 통신 기술(WPAN)과 블루투스(Bluetooth)

WPAN (Wireless Personal Area Network)비교적 짧은 거리(약 10m 내)인 개인 활동 공간 내의 저전력 휴대기기의 무선 네트워크 구성주요 기술 세트로는 Bluetooth (802.15.1), Zigbee(802.15.4), UWB(802.15.3) 등이 있다.WPAN은 IEEE 802.15의 워킹 그룹의 또 다른 명칭이기도 하다. WPAN의 특징저렴한 비용 - AP (Access Point) 같은 중계기의 도움없이 직접 단말 간 무선 데이터 교환 가능, 저비용의 Chip 사용낮은 전력 소모 Bluetooth뭐 여긴 내 흥미가 가는대로 정리하는 곳이니까...찾아보다가 이름의 유래가 흥미로워서 내용을 기재한다. 블루투스라는 이름은 1997년, 인텔 출신의 짐 카다크라는 시스템 엔지..