다국어 범용 문장 인코더 Q&A 검색 (자동 답변 시스템)

요즘 회사나 기관에서 내부 매뉴얼, 규정집, 문서 등에서
내가 궁금한 내용을 자연어로 물어보면 AI가 딱 맞는 답을 찾아주는
스마트 검색 시스템이 점점 더 중요해지고 있죠.
기존 키워드 검색은 단어나 표현이 조금만 달라도 원하는 정보를 못 찾는 경우가 많아요.
그래서 저는 의미로 검색하는 AI,
단어가 달라도 문장의 뜻이 비슷하면 관련 내용을 찾아주는 시스템에 도전해보고 싶었어요.

 

---

 

SQuAD 데이터셋이란?

SQuAD(Stanford Question Answering Dataset)는
위키피디아 문서에서 문단(context), 질문(question), 정답(answer)이 한 세트로 묶여 있는 대형 영어 질의응답 데이터셋입니다.

 

{
  "data": [
    {
      "title": "문서 제목",
      "paragraphs": [
        {
          "context": "문단(지문) 텍스트",
          "qas": [
            {
              "id": "질문 id",
              "question": "질문 내용",
              "answers": [
                {
                  "text": "정답(문단 내 일부)",
                  "answer_start": 123
                }
              ]
            }
          ]
        }
      ]
    }
  ]
}

 

이런 형태로 되어있어요. 

 

context는 질문과 정답이 나오는 지문입니다.
qas는 이 문단을 바탕으로 만든 여러 질문/정답 쌍 리스트예요.
answers에는 실제 정답 문자열과, 그 정답이 context에서 몇 번째 글자에서 시작하는지 알려주는 answer_start가 들어갑니다.

 

Q. context와 paragraph, qas의 차이점은?

paragraph: 문단 전체 정보(문단 텍스트 + 질문/정답 쌍 리스트)를 담은 데이터 구조(딕셔너리)
context: paragraph 안에 들어있는 실제 문단(지문) 텍스트
qas: context를 바탕으로 만든 여러 질문/정답 쌍의 리스트

paragraph는 “문단의 정보 덩어리”,
context는 “실제 문단 텍스트”,
qas는 “이 문단에서 할 수 있는 질문/정답 리스트”입니다.

Q. 질문과 정답을 context에서 찾을 수 있는데 왜 qas가 필요해?

context만 있으면 “무슨 질문을 할 수 있는지” 알 수 없습니다.
qas가 있기 때문에 어떤 질문을 할 수 있고 그 질문에 대한 정답이 context의 어디에 있는지를 명확하게 알 수 있습니다.
AI 모델을 학습시키거나 평가할 때,
이 문단을 보고 이런 질문을 하면, 이 부분이 정답이다”라는 정보를 주는 것이 바로 qas의 역할입니다.

 

 

Q. 그럼 AI가 왜 필요한거야. 그냥 코딩 아닌가?

 

(1) 문장/질문을 임베딩으로 변환
코드에서 모든 문장(또는 문장+문맥 쌍), 질문을 Universal Sentence Encoder로 임베딩(숫자 벡터화)해요.

예를 들어, “사과는 빨갛다.” → 0.13, -0.27, … “바나나는 무슨 색이야?” → 0.12, -0.25, …
이 숫자 벡터는 문장끼리 의미가 비슷하면 값도 비슷하게 나와요.

(2) 의미로 검색
사용자가 질문을 입력하면, 그 질문도 임베딩으로 변환해요.
그리고 데이터셋의 모든 문장 임베딩과 비교해서, 가장 비슷한(=의미적으로 가까운) 문장을 찾아줍니다.
예를 들어, 질문: “노란 과일은 뭐야?” 데이터에 “바나나는 노란색이다.“라는 문장이 있으면
단어가 완전히 같지 않아도, 의미가 비슷하니까 AI가 이 문장을 찾아줄 수 있습니다.

왜 이게 AI?
단순한 코딩(예: if문, for문, 단어 일치 검색)이 아니라 딥러닝 모델이 문장의 의미를 숫자로 표현하고,
그 숫자(벡터)끼리의 유사도를 계산해서 “의미가 비슷한 문장”을 찾아주는 게 바로 AI의 역할이예요.
이 과정은 사람이 직접 규칙을 일일이 짜는 게 아니라, 대규모 데이터와 신경망 학습을 통해
“비슷한 의미는 비슷한 벡터”가 되도록 AI가 스스로 배운 결과입니다.

 

 

---

 

def extract_sentences_from_squad_json(squad):
    all_sentences = []
    for data in squad['data']:
        for paragraph in data['paragraphs']:
            sentences = nltk.tokenize.sent_tokenize(paragraph['context'])
            all_sentences.extend(zip(sentences, [paragraph['context']] * len(sentences)))
    return list(set(all_sentences))

 

각 문단(context)을 문장 단위로 쪼개고, 각 문장과 그 문장이 속한 문단(context)을 한 쌍으로 묶어서 리스트로 만듭니다.

 

예시 문단(context):
“Python is easy to learn. It is used worldwide.”
→ (“Python is easy to learn.”, “Python is easy to learn. It is used worldwide.”)
(“It is used worldwide.”, “Python is easy to learn. It is used worldwide.”)

이렇게 (문장, 문단) 쌍이 만들어집니다.

 

Universal Sentence Encoder Multilingual Q&A 모델이란?

이 프로젝트의 핵심은 Universal Sentence Encoder Multilingual Q&A라는 구글의 딥러닝 모델을 활용하는 것입니다.
이 모델은 문장, 질문, 답변 등 자연어 텍스트를 “숫자 벡터(임베딩)“로 변환해줍니다.
이 임베딩은 단순히 단어가 같을 때만 비슷한 게 아니라,
의미가 비슷하면 값도 비슷하게 만들어집니다.

즉, “프랑스의 수도는 어디인가?” , “프랑스의 수도를 알려줘.”
이런 질문들은 단어가 달라도 임베딩이 거의 비슷하게 나와요

 

# @title
%%capture
# Install the latest Tensorflow version.
!pip install -q tensorflow_text
!pip install -q simpleneighbors[annoy]
!pip install -q nltk
!pip install -q tqdm

import json
import nltk
import os
import pprint
import random
import simpleneighbors
import urllib
from IPython.display import HTML, display
from tqdm.notebook import tqdm

import tensorflow.compat.v2 as tf
import tensorflow_hub as hub
from tensorflow_text import SentencepieceTokenizer

nltk.download('punkt')
nltk.download('punkt_tab')


def download_squad(url):
  return json.load(urllib.request.urlopen(url))

def extract_sentences_from_squad_json(squad):
  all_sentences = []
  for data in squad['data']:
    for paragraph in data['paragraphs']:
      sentences = nltk.tokenize.sent_tokenize(paragraph['context'])
      all_sentences.extend(zip(sentences, [paragraph['context']] * len(sentences)))
  return list(set(all_sentences)) # remove duplicates

def extract_questions_from_squad_json(squad):
  questions = []
  for data in squad['data']:
    for paragraph in data['paragraphs']:
      for qas in paragraph['qas']:
        if qas['answers']:
          questions.append((qas['question'], qas['answers'][0]['text']))
  return list(set(questions))

def output_with_highlight(text, highlight):
  output = "<li> "
  i = text.find(highlight)
  while True:
    if i == -1:
      output += text
      break
    output += text[0:i]
    output += '<b>'+text[i:i+len(highlight)]+'</b>'
    text = text[i+len(highlight):]
    i = text.find(highlight)
  return output + "</li>\n"

def display_nearest_neighbors(query_text, answer_text=None):
  query_embedding = model.signatures['question_encoder'](tf.constant([query_text]))['outputs'][0]
  search_results = index.nearest(query_embedding, n=num_results)

  if answer_text:
    result_md = '''
    <p>Random Question from SQuAD:</p>
    <p>&nbsp;&nbsp;<b>%s</b></p>
    <p>Answer:</p>
    <p>&nbsp;&nbsp;<b>%s</b></p>
    ''' % (query_text , answer_text)
  else:
    result_md = '''
    <p>Question:</p>
    <p>&nbsp;&nbsp;<b>%s</b></p>
    ''' % query_text

  result_md += '''
    <p>Retrieved sentences :
    <ol>
  '''

  if answer_text:
    for s in search_results:
      result_md += output_with_highlight(s, answer_text)
  else:
    for s in search_results:
      result_md += '<li>' + s + '</li>\n'

  result_md += "</ol>"
  display(HTML(result_md))

squad_url = 'https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v1.1.json'

squad_json = download_squad(squad_url)
sentences = extract_sentences_from_squad_json(squad_json)
questions = extract_questions_from_squad_json(squad_json)
print("%s sentences, %s questions extracted from SQuAD %s" % (len(sentences), len(questions), squad_url))

print("\nExample sentence and context:\n")
sentence = random.choice(sentences)
print("sentence:\n")
pprint.pprint(sentence[0])
print("\ncontext:\n")
pprint.pprint(sentence[1])
print()

print("sentences 길이:", len(sentences))
print("questions 길이:", len(questions))

module_url = "https://tfhub.dev/google/universal-sentence-encoder-multilingual-qa/3"
model = hub.load(module_url)



batch_size = 100

encodings = model.signatures['response_encoder'](
  input=tf.constant([sentences[0][0]]),
  context=tf.constant([sentences[0][1]]))
index = simpleneighbors.SimpleNeighbors(
    len(encodings['outputs'][0]), metric='angular')

print('Computing embeddings for %s sentences' % len(sentences))
slices = zip(*(iter(sentences),) * batch_size)
num_batches = int(len(sentences) / batch_size)
for s in tqdm(slices, total=num_batches):
  response_batch = list([r for r, c in s])
  context_batch = list([c for r, c in s])
  encodings = model.signatures['response_encoder'](
    input=tf.constant(response_batch),
    context=tf.constant(context_batch)
  )
  for batch_index, batch in enumerate(response_batch):
    index.add_one(batch, encodings['outputs'][batch_index])

index.build()
print('simpleneighbors index for %s sentences built.' % len(sentences))


num_results = 25

query = random.choice(questions)
display_nearest_neighbors(query[0], query[1])

 

SQuAD 데이터셋을 불러와서 Universal Sentence Encoder Multilingual Q&A 모델에 적용 시킨 구조입니다.

그리고 랜덤으로 질문을 하나 불러와 답변을 출력해보았습니다.

 

위 사진과 같이 질문과 답변이 정상적으로 나오는 걸 볼 수 있었습니다.

 

이게 챗봇, 스마트 검색, FAQ 자동응답 등에 쓰이는 기술입니다.

 

SQuAD 데이터셋 구조와 의미를 직접 파악하면서 “질문/정답/문단”이 어떻게 연결되는지 이해할 수 있었던 좋은 기회였습니다.

 

여러분도 SQuAD 데이터셋과 Universal Sentence Encoder만 있으면 “내가 가진 문서에서 의미로 답을 찾아주는 AI 검색기”를 직접 만들어볼 수 있습니다.

 

감사합니다.