챗GPT와 인간이 쓴 글, 어떤 점이 다르나? - 생성 인공지능(Copilot) 시험 평가

코파일럿(Copilot) 같은 대형 언어 모델이 생성하는 문장은 표면적으로는 자연스럽게 보이지만, 통계적으로 분석했을 때 인간이 작성한 문장과는 뚜렷한 차이가 존재하는 것으로 나타났다. 연구진은 수만 개의 실제 데이터와 AI가 만든 텍스트를 비교 분석하여 AI 문장의 구조적, 통계적 차이를 규명했다.

AI의 실질적인 활용 가능성을 평가하기 위해, 사용자가 AI가 지원할 것으로 기대한 작업량과 실제 지원된 작업량을 비교하였다. 실험 결과, AI가 지원할 수 있다고 예상한 업무량과 실제로 지원한 업무량 간에는 큰 차이가 존재했다. 연구 참여자들의 사전 기대치는 "대부분의 업무(50% 이상)를 지원할 것"이라고 답한 비율이 19%에 불과했으나, 실험 후 AI가 실질적으로 지원했다고 느낀 업무량은 더 높았다.

​

Copilot에 대해 처음 제안된 사용 사례는 구조화된 콘텐츠 생성, 지식 관리 지원, 정보 합성 및 우선 순위 지정, 프로세스 작업 수행 등 4가지입니다. 참가자들의 합의는 이러한 사용 사례가 재무부 환경에 적합하지만 대부분 제품 자체의 한계로 인해 Copilot이 보다 복잡한 작업에는 적합하지 않다는 것이었습니다. 참가자들은 시중의 다른 생성 AI 제품과 관련된 기능에 대한 우려를 표명했습니다. 직원들은 또한 정부에 대한 대중의 신뢰를 유지하기 위한 투명성의 필요성과 재무부가 Copilot 또는 유사한 제품을 채택하는 경우 생성 AI 사용을 지원하기 위한 지침에 특히 민감합니다.

​

자료 : https://evaluation.treasury.gov.au/publications/evaluation-generative-artificial-intelligence

Evaluation of a trial of generative AI (Copilot) in The Treasury

An evaluation of the implementation and outcomes of the Treasury’s trial of generative AI using a mixed-methods approach.

evaluation.treasury.gov.au