분류 전체보기 (13) 썸네일형 리스트형 Seq2Seq Text Generation Input sentence: 지난 여름은 너무 더웠어 → 'source'Output sentence: It was so hot last summer → 'target'→ bos, eos는 문장의 시작과 끝을 말해주는 token인데, 이걸 알려줘야 text generation이 제대로 된다. 그래서 결국엔 어떤 Input이 주어졌을때, 그거에 맞는 Output이 나올 conditional probablilty를 구하는 것.conditional probablilty는? "지난 여름은 너무 더웠어"를 인풋으로 줬을 때, It이 나올 확률을 의미한다.→ 이 확률을 학습시키며 높여가는 것을 의미한다. define해야되는 Model components1. The embedding weight E2. Encoder에.. Message Authentication 메세지 인증을 사용하는 이유는1. 메세지 무결성 보호2. 개시자의 신원검증3. 발신자가 누구인지 증명 세가지 함수들이 대신 사용될 수 있다.1. hash function2. message encryption3. message authentication code (MAC)Symmetric Message Encryption (대칭 암호화)암호화와 복호화에 동일한 비밀키를 사용하는 암호화 방식ex) AES, DES 등 Public-key Message Encryption (비대칭 암호화)암호화와 복호화에 서로 다른 공개키와 비밀키를 사용하여 암호화 하는 방식ex) RSA, ECC, Elgamal 등Why use a MAC?1. 인증만 필요한 경우암호화가 필요하지 않고, 메세지의 진위 여부만 확인하면 되는 경우.. Language Model Text Generation(or generative model)generation도 classification이다. RNN을 통해서 Text Generation을 하는 것을 지켜보자but, RNN을 통해 text generation을 잘 하진 않는다(이해하려고 RNN으로 사용해보는것.)그 다음 RNN 위치에 Transformers를 넣으면 된다. (그게 GPT라고 볼 수 있음) 한 종류의 decoder를 가지고 many-to-many를 할 수 있다.(꼭 인코더 디코더로 여러겹 쌓을 필요는 없다.)이미지 캡셔닝: 이미지에 해당하는 월드 시퀀스를 제러네이티드 하는것 (seq to seq로 구현된다.) (one-to-many로 작동하지 않는다.)그래서 텍스트 제너레이션을 할때는 seq-to-seq로 대부분 .. Linear Classifier, Loss Func, Softmax Func, Optimization Neural Network는 여러개의 Linear Classifier을 겹쳐 놓은 것이다. Linear Classifier를 다르게 말해본다면 A simple parametric model이라고도 할 수 있다.f(x, W) = Wx + b f는 x와 W를 컴포넌트로 가지고 있는 Classifier라고 보면 된다.x는 vector format, W는 weight format이다.b는 bias라고 해서 offset을 뜻하는데 생략 가능하다.bias 같은 경우 데이터셋이 unbalance한 경우, 기존 데이터셋과 무관하게 특정 클래스에 더하여 우선권을 부여할 수 있다. Linear Classifier의 한계해당 이미지같은 녀석들은 분류를 하지 못한다.예를 들어 Image Classification에서 사람수가.. Image Classification, Text Classification Image Classification: A core task in computer vision- input에 대해서 모델이 확인하고(Vision) 결과값을 내는, 클래스를 정하는 행위 우리가 달고 있는 눈처럼 인식을 한다기 보단, 비트값을 통해서 본다고 이해하면 편할 것 같다.자세한 내용은 컴퓨터 비전쪽을 서치해보길 권장한다. Text Classification: A core task in Natural Language Processing 텍스트를 입력받아, 이 텍스트가 우리가 정한 규칙 중 어느 곳에 속하는지 구분하는 작업을 의미한다.간단하게 말하자면, Rule을 정해 Labeling을 하는 과정이다.이 사이에는 word를 vector로 변환하는 작업이 중요하다. 대표적으로 Word2vec이나 Skip.. 이전 1 2 다음
