import tiktoken

def count_tokens(text):
    # GPT-4のトークナイザーを取得します
    tokenizer = tiktoken.get_encoding("cl100k_base")
    # テキストをトークン化してトークン数をカウントします
    tokens = tokenizer.encode(text)
    return len(tokens)

def check_token_length(text):
    num_tokens = count_tokens(text)
    MAX_INPUT_TOKENS =15000
    if num_tokens > MAX_INPUT_TOKENS:
        print(f"エラー: トークン数が{num_tokens}で、制限の{MAX_INPUT_TOKENS}を超えています。")
    else:
        print(f"トークン数は{num_tokens}で、制限の範囲内です。")