LLM의 내부에서는 실제로 어떤 일이 일어나는가
1. 여러 언어를 처리하는 방법 앤트로픽 연구진은 같은 의미의 질문을 영어, 프랑스어, 중국어로 바꿔가며 Claude 내부를 살펴봤다. 언어는 달라도 내부에서는 ‘작다’, ‘반대’, ‘크다’와 같은 공통된 개념이 활성화되는 것을 확인했다. 언어마다 완전히 별개의 방식으로 처리하기보다는 공통된 개념을 거친 뒤 각 언어에 맞는 답을 만들어내는 것으로 보인다고 한다.=> 근데 왜 언어에 따라서 탈옥이 가능해지기도 하는 걸까?? 2. 문장을 미리 계획한다Claude에게 운율이 맞는 시를 작성하게 했더니 단순히 한 단어씩 이어서 생성하는 것이 아니라, 마지막에 사용할 단어를 어느 정도 미리 정해놓고 그 단어에 맞게 문장을 만들어가는 모습이 발견됐다. 연구진이 내부의 특정 개념을 바꾸자 최종 단어뿐만 아니라 그 ..