Document Loaders

kubChain Flow형 LangChain에는 원하는 문서를 업로드하여 챗봇을 만들 수 있습니다. 원하는 문서를 업로드할 수 있도록 Document Loaders를 사용합니다. 몇몇개의 Document Loaders는 Vector Store의 기능도 포함하고 있습니다.

kubChain에서 제공하는 Document Loaders는 다음과 같습니다.

  • API Loader

  • Airtable

  • Apify Website Content Crawler

  • Cheerio Web Scraper

  • Confluence

  • Csv File

  • Docx File

  • Figma

  • Folder with Files

  • GitBook

  • Github

  • Json File

  • Json Lines File

  • Notion Database

  • Notion Folder

  • Notion Page

  • Pdf File

  • Plain Text

  • Playwright Web Scraper

  • Puppeteer Web Scraper

  • S3

  • SerachApi For Web Search

  • SerpApi for Web Search

  • Subtitles File

  • Text File

  • Unstructured File Loader

  • Unstructured Folder Loader

  • VectorStore To Document

Airtable

테이블 기반의 인터페이스를 통해 사용자가 웹을 통해 데이터를 직접 관리하고 업데이트할 수 있습니다. third-party 앱과의 뛰어난 연동 기능 덕분에 No-code 자동화 분야에서 자주 활용됩니다.

Acess token 발급

Access token을 발급은 Airtable 공식 홈페이지에서 가능합니다.

  1. 'Sign up for free'를 클릭해 회원가입을 진행합니다.

  2. 계정 생성 후, Developer Hub에서 우측 상단의 'Create new token' 버튼을 클릭합니다.

  3. Create personal access token에서 필수 항목들을 입력해줍니다. Scopes는 '+ Add a scope'를 클릭, Access는 'Add a base'를 클릭해 지정해줍니다.

  • Name: 토큰명

  • Scope: 토큰이 데이터에 대해 수행할 수 있는 작업 종류. 일반적으로 읽기 전용(read-only), 쓰기(편집 가능), 또는 읽기 및 쓰기 모두 가능한 권한 등으로 구분되며 복수 선택 가능. 아래 공식 문서 참고해 해당하는 Scope 지정 https://airtable.com/developers/web/api/scopes

  • Access: 토큰이 접근할 수 있는 데이터 범위로 workspace, base 지정

  1. 3번 작업을 완료한 후, 우측 하단의 'Create token'을 클릭해 토큰을 생성합니다. 생성된 토큰은 빨간색 박스로 표시된 복사 버튼을 눌러 생성된 토큰을 복사합니다.

데이터 업로드

Home 화면에서 크게 3가지 데이터 업로드가 가능합니다.

  1. Start from scratch: 맞춤화된, 세밀한 데이터 구조 설정 필요할 때 사용 방법

  2. Quickly upload: 기존 보유 데이터 전체를 빠르게 import하는 방법

  • 파일 형태를 선택해 업로드하면, Airtable이 자동으로 테이블 구조 생성

  • 사용할 컬럼 선택, 컬럼 타입 선택 등 import할 데이터를 자유롭게 커스터마이즈할 수 있음

  • 간단하고 빠르게 데이터 로드할 때 적합한 방법

  1. Start with templates: Airtable에서 제공하는 다양한 템플릿 활용

Last updated