ChatGPT 사용여부 3초면 확인 가능, AI Text Classifier

최근 가장 화두가 되고 있는 기술은 바로 인공지능(AI)입니다. 텍스트 기반의 ChatGPT는 어떤 질문에도 높은 정확도로 답변해 주고, 심지어 소설이나 글까지 대신 작성해 줄 수 있습니다. 그러다 보니 각종 과제나 문서 작성에 사용하는 경우도 늘면서 여러 가지 문제가 발생하고 있습니다.

 

바로 챗GPT를 이용한 대필 문제입니다. 상황에 맞게 어떤 글이든 작성할 수 있어서 반성문이나 과제물 등 본인이 스스로 써야하는 글도 AI에게 맡겨버리는 일들이 생긴 것이죠. AI 치팅을 시도해도 어떤 글이 인공지능이 생성한 것인지 확인하기가 쉽지 않습니다.

 

이런 문제를 해결하기 위해 OpenAI 사에서 AI 텍스트 검사기를 출시했습니다. AI Text Classifier입니다. 아래 링크에서 직접 사용해볼 수 있습니다.

 

목차

 

AI Text Classifier

 

1. AI 텍스트 검사기

 

https://platform.openai.com/ai-text-classifier

OpenAI API

 

AI Text Classifier는 ChatGPT를 비롯한 AI 서비스가 작성한 텍스트인지 여부를 검사합니다. 검사를 돌리기 위해서는 최소 1,000자 이상의 텍스트를 입력해야 합니다. 정확도가 100%는 아니라서 이 검사기의 결과를 모두 신뢰할 수는 없습니다.

 

참고로 AI 검사기는 영어 콘텐츠 위주로 학습되어 있어서 영어가 아닌 다른 언어로 작성된 텍스트나 어린이가 작성한 글에 대해서는 오류가 발생할 수 있다고 합니다.

 

텍스트 입력창

 

사용방법은 간단합니다. AI 작성여부를 확인하려는 텍스트를 먼저 복사합니다. 그리고 붙여넣은 후 Submit 버튼을 눌러서 검사를 돌리면 됩니다.

 

검사 결과는 보통 5가지로 구분됩니다.

 

 - The classifier considers the text to be likely AI-generated.

 - The classifier considers the text to be possibly AI-generated.

 - The classifier considers the text to be unclear if it is AI-generated.

 - The classifier considers the text to be unlikely AI-generated.

 - The classifier considers the text to be very unlikely AI-generated.

 

likely, possibly는 AI 생성 가능성이 높다는 뜻이고, unlikely, very unlikely는 AI 생성 가능성이 낮다는 뜻입니다. 해당 검사 결과가 100% 확실한 것은 아니지만 그래도 높은 신뢰도를 갖고 있습니다.

 

 

2. AI 검사 예시

 

AI 텍스트 검사를 실행하려면 1,000자 이상의 텍스트가 필요합니다. 그렇다고 너무 긴 텍스트를 입력하면 검사 중 오류가 발생합니다. 먼저, 예시로 아래 글의 내용을 검사기에 입력해 봤습니다. 이 글은 제가 직접 작성한 글입니다.

 

2-1. 직접 작성한 글

 

https://gaesung.tistory.com/250

투자기본(1) - 재테크란 무엇인가? 투자 공부를 해야하는 이유

 

재테크가 무엇이고, 투자 공부를 해야하는 이유, 간단한 경제용어 설명을 작성한 글입니다. 텍스트 길이가 길어 테스트 용으로 적합해 보입니다.

 

오류 발생

 

글이 너무 길어서 "There was an issue communicating with our model. Please try again later. If this issue persists please contact us through our help center." 이런 오류메시지가 뜹니다. 이럴 때는 내용을 조금 지워서 다시 돌리면 됩니다.

 

 

검사 결과

 

마지막 한 문단을 지우고 다시 시도하니까 됩니다. 검사 결과는 "The classifier considers the text to be unlikely AI-generated."입니다. unlikely니까 AI에서 생성된 것 같지는 않다는 뜻이죠.

 

 

2-2. AI가 작성한 글

내가 직접 쓴 글은 unlikely로 정확하게 나왔습니다. 그렇다면 AI가 쓴 글도 인식을 할까요? 한 번 확인해 보았습니다. 아래 글에서 물어보았던 질문과 답변입니다.

 

※ 질문내용
One of the grounding methods for neutral point grounding is arc suppression reactor grounding. However, when using arc suppression reactor grounding, overcompensation is required. What is the reason for this?
(중성점 접지 방식 중 하나로 소호리액터 접지가 있다. 그런데 소호리액터 접지를 사용하는 경우 과보상을 해야 하는데 그 이유는 무엇인가?)

 

https://gaesung.tistory.com/398

ChatGPT GPT-4 사용방법, OpenAI 멀티모달 인공지능 출시

 

이에 대한 답변은 아래와 같습니다.

 

ChatGPT의 답변(좌 : GPT3.5, 우 : GPT4)

 

왼쪽은 GPT-3.5 모델, 오른쪽은 GPT-4 모델의 답변입니다. 각각 AI 검사기로 확인해 보겠습니다. 먼저 GPT-3.5입니다.

 

GPT 3.5 검사결과

 

"The classifier considers the text to be possibly AI-generated." 딱 걸렸습니다. AI가 생성한 데이터일 가능성이 있다고 결론이 나왔네요. AI가 작성한 글과 사람이 작성한 글은 아직 확연한 차이가 있는 듯합니다.

 

GPT 4 검사결과

 

"The classifier considers the text to be unclear if it is AI-generated." AI가 생성했는지 불명확하다고 합니다. 부정은 아니지만 그렇다고 긍정도 아닙니다. 확실히 GPT-4가 더 사람 같이 행동하는 것 같습니다.

 

 

3. 사용후기

 

이렇게 AI Text Classifier를 사용해 보았습니다. 검사 정확도가 매우 높지는 않았지만 확실하게 AI로 작성한 글은 검출이 가능한 모습입니다. ChatGPT를 비롯한 인공지능 기술이 발전할수록 인공지능 여부를 확인하는 기술도 같이 발전할 것 같습니다.

 

참고로 AI 검사기 하단에는 아래와 같은 안내문구가 있습니다.

 

By submitting content, you agree to our Terms of Use and Privacy Policy. Be sure you have appropriate rights to the content before using the AI Text Classifier.
콘텐츠를 제출함으로써 귀하는 당사의 이용 약관 및 개인 정보 보호 정책에 동의하는 것입니다. AI Text Classifier를 사용하기 전에 콘텐츠에 대한 적절한 권한이 있는지 확인하십시오.

 

검사기에 입력한 텍스트는 모두 OpenAI에 전송되고, ChatGPT를 비롯한 AI 기술을 발전시키는 데 사용될 수 있습니다. 일반적인 글은 입력해도 무방하지만 학술연구 분야에서 발표되지 않은 논문 내용 등은 입력하면 안 됩니다. 발행되지 않은 블로그 글 같은 경우에도 마찬가지로 검사기에 내용을 입력하는 것을 권장하지 않습니다.