코딩하는 참새

11.7일 오전 메일함에 OpenAI로 부터 아래 제목으로 메일이 왔다.

​

"New platform updates from DevDay: GPT-4 Turbo, Assistants API, new modalities + GPTs in ChatGPT"

​

오늘 DevDay가 있었고, ChatGPT 업데이트가 있었다.

​

▶ GPT4

• API로 GPT4가 사용이 가능해졌고, 128K Context size 채팅(API아님)이 가능해졌다는 점
• 이제 API쓸때 GPT4 모델을 쓰면 32K context size까지 쓸 수 있다.
• 최신 데이터. 23년 4월까지 데이터가 들어 갔다고 한다.

​

▶GPT3

• 가격 인하? 디폴트로 16K 사이즈로 변경될 예정. (12월 11일부터 1106 모델이 디폴트로 적용되는 듯)
• 가격은 인풋에 대해서 기존 0.0015달러에서 0.0010 달러로 내렸다. (기존은 4K 이고, 이제 디폴트가 16K라 더 내린거라 봐도 될려나 싶다. 기존 16K 모델은 0.003달러였으므로 1/3로 내린거긴 하다)
• 16K 모델 파인튜닝 가능​

Pricing (openai.com)

• Reproducible Output
  • 기존에는 같은 요청을 해도 랜덤처럼, 응답이 조금씩 바뀌었는데, 시드값을 주면, 동일한 결과값을 받아볼 수 있게 한다고 한다.

Text generation - OpenAI API

• GPTs
  • 커스텀 챗봇을 만들 수 있는 플랫폼 오픈. 데이터 등을 올려놓고 커스텀한 챗봇을 만들수 있게 하고, 챗봇 스토어도 오픈 예정이라고
  • https://chat.openai.com/gpts/editor
• Assistant API
  • API 개발을 돕는 툴?
  • Assistants overview - OpenAI API

다음은 메일 번역본이다.

DevDay 영상

OpenAI DevDay, Opening Keynote - YouTube

발표한지 열흘여만에 CEO에서 해고?가 되었다고.. ㅎ

Sam Altman, CEO of ChatGPT parent company Open AI, is out after board found he was ‘not consistently candid’ | CNN Business

GPT API 호출시 모든 비용은 토큰 수에 따라 계산이 되므로, 대략 어느정도의 토큰이 사용이 되는지를 알아야 비용 계산을 할 수 있다.

​

Python 같은 경우 tiktoken이라는 모듈로 이미 Open AI에서 제공하는 것이 있어서 참고를 할 수 있다.

def num_tokens_from_messages(messages, model="gpt-3.5-turbo-0613"):
  """Returns the number of tokens used by a list of messages."""
  try:
      encoding = tiktoken.encoding_for_model(model)
  except KeyError:
      encoding = tiktoken.get_encoding("cl100k_base")
  if model == "gpt-3.5-turbo-0613":  # note: future models may deviate from this
      num_tokens = 0
      for message in messages:
          num_tokens += 4  # every message follows <im_start>{role/name}\n{content}<im_end>\n
          for key, value in message.items():
              num_tokens += len(encoding.encode(value))
              if key == "name":  # if there's a name, the role is omitted
                  num_tokens += -1  # role is always required and always 1 token
      num_tokens += 2  # every reply is primed with <im_start>assistant
      return num_tokens
  else:
      raise NotImplementedError(f"""num_tokens_from_messages() is not presently implemented for model {model}.
  See https://github.com/openai/openai-python/blob/main/chatml.md for information on how messages are converted to tokens.""")

또는, 아래 사이트에서 텍스트를 넣어서 알수도 있다.

OpenAI Platform

import { get_encoding, encoding_for_model } from "tiktoken";

function tiktoken_test() {
    let encoding = encoding_for_model("gpt-3.5-turbo");
    // encoding = get_encoding("cl100k_base"); // 일반적으로 gpt3.5 와 4에서 사용하는 인코더를 가져옴. 추천방식

    let encoded = encoding.encode("안녕하세요. 제 이름은 이호영입니다.");
    console.log(encoded);
    console.log('length = ', encoded.length);

    encoded = encoding.encode("Hello. My name is Hoyeong Lee");
    console.log(encoded);
    console.log('length = ', encoded.length);
}
tiktoken_test();

​

 

위 테스트 코드를 실행해보면,

​

​

와 같이, 토큰별 ID와 길이를 알 수 있다. 토큰은 Uint32Array라는 배열로 저장된다.

​

토큰이 어떻게 나눠지는지 알아보기 위해 토큰별로 글자를 프린트 해보겠다.

​

const encoding = get_encoding("cl100k_base");
const textDecode = new TextDecoder();

function testCountToken() {
    let encoded = encoding.encode("안녕하세요. 제 이름은 이호영입니다. 성은 이, 이름은 호영입니다.");
    console.log(encoded);
    let decoded = textDecode.decode(encoding.decode(encoded));
    console.log(decoded);
}

 

const encoding = get_encoding("cl100k_base");
const textDecode = new TextDecoder();

function testCountToken() {
    let encoded = encoding.encode("안녕하세요. 제 이름은 이호영입니다. 성은 이, 이름은 호영입니다.");
    displayDecodedCharacters(encoded);
    console.log('token length = ', encoded.length);
}

function displayDecodedCharacters(encoded) {
    let idx = 0;
    for (let key in Object.keys(encoded)) {
        let arr = new Uint32Array(1);
        arr[0] = encoded[key];
        let ch = textDecode.decode(encoding.decode(arr), {stream:true});
        console.log(`${idx} : ${encoded[key]}="${ch}"`);
        idx += 1;
    }
}

let encoded = encoding.encode("Hello. My name is Hoyeong Lee, First name is Hoyeong and last name is Lee.");

Open AI사의 LLM을 사용하여 개발을 하려면 회원 가입후 key를 생성해야 한다.

​

OpenAI 사이트에 가서, 회원가입/로그인을 하자.

OpenAI Platform

여기에 가서 API를 선택하면, 전화 인증 후 개발자 등록이 된다. 처음 가입하면 free credit 18$를 주는데, 혹시 이미 다른 계정에서 인증에 쓰인 전화번호라면 free credit은 못받는다.

(생각보다 18달러 쓰는데 오래 걸린다.)

​

Usage 메뉴. credit 사용량, 잔여량 등을 볼 수 있다. free credit은 몇달 지났더니 expire 되어 버렸다.

​

​나의 경우는, Biling 메뉴를 통해 신용카드 등록후, credit을 결제해놓고 사용중이다.

OpenAI Platform

 

 

​

사용량 제한을 걸어 둘 수 있는데

Soft limit : 해당 비용까지 도달하면 경고 메일 등으로 알려줌

Hard limit : 도달시, 서비스 block

​

그래서, 갑가지 비용이 증가할 경우를 대비할 수 있다.