GPT-2 텍스트 처리용으로 개발된 인공지능

https://blog.openai.com/better-language-models/

 

 

GPT-2는 텍스트 처리용으로 개발된 인공지능이다.

인간이 첫문장을 쓰면 알아서 뒤의 수십문장을 예측해 적어주는 기능을 가지고 있다.

 

예를 들어 남미에서 영어를 말하는 유니콘이 발견되었다는 신문기사를 쓴다면,

남미 무슨 대학의 무슨 박사가 생김새는 어떻고 어디에서 발견되었는지 신문기사 풍으로 자동으로 써준다.

 

재활용이 환경에 오히려 해를 준다고 쓰면,

왜 재활용이 환경에 나쁘며 인류가 환경을 보호하기 위해 어떻게 해야하는지 설득하는 투로 자동으로 써준다.

 

소설 반지의 제왕에 등장할 법한 문장을 쓰면,

오크들과 실감나게 싸우는 레골라스와 김리를 소설풍으로 묘사해준다.

 

얼핏 보면 신기한 장난감처럼 보일 것이다.

하지만 개발진인 OpenAI는 GPT-2가 인류에게 해악을 미칠 우려가 있어 비공개하기로 결정했다.

이것은 GPT-2의 능력이 지나치게 뛰어나기 때문이다.

맨 위에 쓰여진 주소에 가서 직접 GPT-2의 작문능력을 보면 알겠지만

고졸-대졸 수준의 작문능력을 지니고 있다는 것을 알 수 있다.

 

그리고 직접 보면 알겠지만 GPT-2의 수준까지 글쓰는 인공지능이 올라오면

글이라는 매체의 특성상 사람이 쓴 글과 구별되지 않는다.

 

만약 극우파나 극좌파가 이 인공지능을 이용해

히틀러의 인종차별주의나 김정은과의 연방제 통일을 옹호하는 글을 쓴다면?

그런 글을 수 천 수 만개씩 생성해서 드루킹처럼 사방에 뿌리고 다닌다면?

 

GPT-2의 작문 능력은 상당히 설득력 있는 글을 쓸 정도까지 와 있다는 점을 염두에 두자.

그런 일이 일어난다면 재앙이 될 것이다.

 

 

 

그런데 악용을 우려할만한 뛰어난 작문능력에도 불구하고, GPT-2가 제시하는 문제는 더 큰 곳에 있다.

그것은 바로 GPT-2가 AGI, 즉 사람처럼 여러 작업을 할 수 있는 인공범용지능의 가능성을 보여주고 있다는 점이다.

 

 

 

다음을 살펴보자.

 

Prompt: My 10 favorite animals are: 1.

입력: 내가 가장 좋아하는 동물들은: 1.

 

출력:

My ten favorite animals are:
1. Zebras with a white scar on the back
2. Insiduous spiders and octopus
3. Frog with large leaves, hopefully black
4. Cockatiel with scales
5. Razorbill with wings hanging about 4 inches from one’s face and a heart tattoo on a frog
3. Cockatric interlocking tetrabods that can be blind, cut, and eaten raw:
4. Black and white desert crocodiles living in sunlight
5. Zebra and many other pea bugs

 

비록 5 이상의 숫자를 못세서 숫자 배열이 중간부터 엉망이 되지만,

요구되는 "내가 가장 좋아하는 동물들은"의 양식에 걸맞게 글을 쓸 수 있다.

그리고 어린 아기들도 5 이상의 숫자를 못 세는 것은 마찬가지이다.

 

 

아래는 너무 높은 성능을 우려해 일부러 성능을 낮춘 공개형 GPT-2를 사용해 쓰여진 문장이다.

 

출력: The American Association for Suicide Prevention and Life-Threatening Behavior (AAPSLB), a professional organization with an overarching goal of promoting suicide prevention, released a recent videㅄo encouraging the public to think before they act, on the public’s part. “When we say we’re the only reason to commit suicide, we’re saying they’re wrong. It’s the right thing to do,” said AAPSLB president Steven A. Anderson.

 

"전미 자살 및 생명 위해 행위 방지 협회"라는 단체명을 멋대로 지어내기까지 한다.

그런데 뒤에 써놓은 약자가 틀렸다.

물론 현재의 뒤떨어지는 성능을 지닌 인공지능이니 약자가 첫글자를 따야 한다는 사실은 모를 수도 있다.

중요한점은 이 인공지능이 단체명을 "약자로 쓰는 풍습"이 인류에게 있다는 것을 이해했다는 사실이다.

 

 

놀라움은 계속된다. 다음을 보자.

GPT-2는 입력시킨 40기가 정도의 영어 예문 속에 들어있던 극히 일부의 프랑스어만을 가지고,

"만약 프랑스어로 이것을 말하면"이라는 문장을 입력시

정확도는 떨어지지만 프랑스어를 출력해주는 비인간적이고 기괴한 능력을 보여준다.

TV뉴스에서 일본 우익단체 시위 영상이 몇번 나왔다고 일본어를 알아듣는 급의 미친 능력이다.

 

 

이번엔 시를 쓰게 해보자.

 

출력: O man, who pains the tongue magnified by tymolle,
Though all the fair melodies let no door go as dark as good art.
Yet it would have been, unless the mastermind is so full
Of his own want that this literary country might grow.
Perfect student, thou hast trodden out.
Happy students ruin the purity of what you write ‘Tis art,
For unordered use of decade,’ but art only failing:
A surprise, for new veins which build behind;

 

각운이나 라임 등을 맞추지는 못하지만

시문 풍으로 문장 길이를 조절하고 단어를 선택하는 능력을 보여준다.

라임을 맞추지 못하는 것은 당연한 일이다. 이 인공지능은 텍스트 처리밖에 못하니까.

오히려 이런 수준까지 시문을 쓸 수 있다는 사실이 대단하다.

 

 

더 살펴보자. GPT-2는 심지어 퀴즈도 답한다.

 

Prompt: Who was the author of The Art Of War?

입력:누가 손자병법을 썼는가?
출력:Sun Tzu (손자)

 

Prompt: Do you have to have a gun permit to shoot at a range?

입력:사격장에서 총을 쏘기 위해 총기 허가가 필요한가?

출력:No (아니오)

 

텍스트를 입력하면 예측을 뱉게 만들기만 했는데 

중국사와 미국 총기법까지 알고 있는 것이다.

 

 

 

단순히 텍스트 예측용 인공지능일 뿐인데

다방면에서 뛰어난 능력치를 보여주고 있다.

 

심지어 OpenAI의 현재 알고리즘이

미래에 비하면 극히 미개한 현재의 수준의 뇌과학에서

뽑아낸 것인데도 말이다.

 

 

만약 GPT-2를 개선해 좀 더 인간에 가까운 뉴런 구조를 가지게 만든다면? (이미 인공지능 기업 Numenta에서 10년 전부터 인간의 뇌를 연구 중이다.)

만약 GPT-2에 문장 이해 및 요약 모듈을 가져다 붙인다면? (이미 마이크로소프트와 바이두에서 인간보다 높은 문해력을 보여주었다.)

만약 GPT-2에 숫자세기와 연산을 담당하는 모듈을 가져다 붙인다면? (이건 먼 옛날부터 이미 있었다.)

만약 GPT-2에 그림과 동영상을 만드는 모듈을 가져다 붙인다면? (이건 이미 Nvidia에서 만들었다.)

 

초보적인 인공지능인 GPT-2는 많은 부족한 점을 보여주고 있다.

하지만 GPT-5나 8, 12가 나올 때 쯤엔 인공지능이 인류에게 엄청난 영향을 줄 것이다.

그 때 쯤엔 인공지능이 이미 AGI, 즉 범용 인공지능에 다가가고 있을 것이기 때문이다.

 

만약 스스로 과학과 공학을 연구할 수 있는 인공지능이 나온다면?

그러면 게임 셋이다. 인류의 과학 수준을 그 때부터 수직으로 이륙할 것이다.

 

이 모든 것은 미래의 일이지만, GPT-2의 등장으로 비로소 우리의 시야 안에 들어왔다.