Hugging Face의 따끈따끈한 신기능 Tool, Agent (New Features of Hugging Face: tools and agents)

🎈본 포스팅은 Hugging Face의 정말정말 따끈따끈한 신기능인 Tool과 Agent를 담고 있습니다.
무려 일주일도 안 된 23년 5월 10일에 릴리즈했다는 사실!

 

Hugging Face란?

허깅페이스는 자연어 처리(NLP)를 전문으로 하는 회사이며, NLP를 위한 오픈소스 라이브러리와 도구 개발에 많은 기여를 하고 있다. 허깅페이스는 언어 번역, 텍스트 분류, 감성 분석, 질문 답변 등 다양한 NLP 작업에 사용되는 사전 훈련된 모델을 제공하며, 가장 인기 있는 제품은 PyTorch 위에 구축된 Transformers 라이브러리이다.

허깅페이스는 Transformers 라이브러리 외에도 토크나이저, 데이터셋, 파이프라인 등 NLP에 사용되는 다양한 오픈소스 도구를 개발하고 있다. 또한 허깅페이스 허브(Hugging Face Hub)라는 온라인 플랫폼을 운영하며, 이는 NLP 모델과 데이터셋을 공유하고 협업할 수 있는 저장소 역할을 한다.

전반적으로 허깅페이스는 오픈소스 소프트웨어에 대한 기여와 NLP 연구 및 개발에 대한 혁신적인 접근으로 NLP 커뮤니티에서 중요한 역할을 하고 있다.

 

Transformers can do anything

이러한 허깅페이스에서 Transformer Agent와 Custom Tools라는 기능이 추가되었다. 업데이트 된 예제 코드의 서두에는 "Transformers can do anything"이라는 마법적인(?) 문구로 소개되고 있는데, 필자와 함께 살펴보도록 하자. 😁

 

---

Agent

Agent의 구조를 살펴보면 위와 같다. 하고자 하는 instruction을 prompt 형태로 만들어서 Agent😎에게 주면, interpreter가 prompt에 맞는 언어 모델을 추천해 준다. 예제에서는 이 일련의 과정을 통해 "A river flowing through a frozen forest" 라는 image captioning 오디오가 생성된 모습을 보여주고 있다.

사실 몹시 간단하지만 아주 편리한 기능이라고 할 수 있다. Agent 이전에는 각 feature를 수행하는 class를 별도로 정의하여 연결해 주어야만 했는데, 이제는 Agent가 귀찮은 반복적인 과정을 알아서 잘~ 해주는 것이다. 비유를 하자면 고오급 알고리즘 모음을 차례로 갖다 주는 AI 오마카세 같달까.

 

Using Image Generator

본 코드는 최신 버전인 transformer v4.29.0이상에서 동작합니다.
또한 Jupyter notebook 환경 사용을 권장합니다. VSCode에서는 그림이 잘 안나옵니다ㅠ

 

간단하게 image generator를 만들어 보자. (이제는 Agent 덕분에 만든다기보다는 단순 호출에 가깝다.)

# agent_name: "StarCoder (HF Token)"

from transformers.tools import HfAgent

agent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoder")
print("StarCoder is initialized 💪")
boat = agent.run("Generate an image of a boat in the water")
boat

boat를 출력해 보면 다음과 같이 나온다. 순식간에 물 위의 보트 사진이 완성되었다 :)
정리하자면,, 이제는 단 2줄만 짜면 이미지 생성 모델을 쓸 수 있는 것이다.. ㅋㅋㅋㅋㅋ

반대로 Agent에게 생성한 이미지를 설명해보라고 해 보자. (image captioning)

caption = agent.run("Can you caption the `boat_image`?", boat_image=boat)
caption

 

Reading out the Web Page (Plaing Audio)

그 다음으로 소개하는 Agent의 장기는 web page를 읽어주기. beautifulsoup으로 크롤링해서 audio로 재생해주는데 생각보다 고도화된(?) 기본 기능에 깜짝 놀랐다. 이것도 단 2줄!

audio = agent.run("Read out loud the summary of http://hf.co")
play_audio(audio)

호기심이 생겨 한국 사이트 네이버도 시켜 보았는데, 크롤링은 잘 되나 읽어주는 모델은 잘 동작하지 않더라.

 

Chat Mode

예제코드는 OpenAI로 돌린 것 같은데 필자는 OpenAI 계정이 없어서 HFAgent로 돌렸더니 에러가 잘 돌아가지 않는다. 😅 추후에 버그가 고쳐지길 바래 본다.

 

---

Tools

Hugging Face의 tools는 아래와 같은 기능들을 제공한다.

These tools are the following:

• Document question answering: given a document (such as a PDF) in image format, answer a question on this document (Donut)
• Text question answering: given a long text and a question, answer the question in the text (Flan-T5)
• Unconditional image captioning: Caption the image! (BLIP)
• Image question answering: given an image, answer a question on this image (VILT)
• Image segmentation: given an image and a prompt, output the segmentation mask of that prompt (CLIPSeg)
• Speech to text: given an audio recording of a person talking, transcribe the speech into text (Whisper)
• Text to speech: convert text to speech (SpeechT5)
• Zero-shot text classification: given a text and a list of labels, identify to which label the text corresponds the most (BART)
• Text summarization: summarize a long text in one or a few sentences (BART)
• Translation: translate the text into a given language (NLLB)

 

We also support the following community-based tools:

• Text downloader: to download a text from a web URL
• Text to image: generate an image according to a prompt, leveraging stable diffusion
• Image transformation: transforms an image

 

Adding New Tools

너무나 편리한 tool들이지만, 주어진 Tool만 쓰기에는 항상 부족하다. 커스터마이징이 필요한 시점이다. 내가 만든 함수나 모델을 언어모델한테 주입해서 쓰고 싶으면 Custom Tool을 만들어서 Agent에 추가해주면 된다. 😀😀

다음과 같이 귀여운 고양이 스트림 페이지가 있다. 이 이미지는 스트림 형태로 매 초마다 새로운 이미지로 갱신되는데, 이 이미지를 모으는 fetcher를 만들어서 custom tool로 추가해 보자.

https://cataas.com/cat

class 선언에는 몇 가지 룰이 있다. Attribute에 대한 이름, 설명, 그리고 입출력을 담고 있어야 한다. 또한 call이라는 함수는 inference code로써 꼭 추가해주어야 한다. 자세한 내용은 다음과 같다.

This class has a few needs:

• An attribute name, which corresponds to the name of the tool itself. To be in tune with other tools which have a performative name, we'll name it text-download-counter.
• An attribute description, which will be used to populate the prompt of the agent.
• inputs and outputs attributes. Defining this will help the python interpreter make educated choices about types, and will allow for a gradio-demo to be spawned when we push our tool to the Hub. They're both a list of expected values, which can be text, image, or audio.
• A call method which contains the inference code. This is the code we've played with above!

 

위의 조건들을 충족하는 CatImageFetcher class는 다음과 같이 작성될 수 있다.
Here’s what our class looks like now:

from transformers import Tool
from huggingface_hub import list_models


class CatImageFetcher(Tool):
    name = "cat_fetcher"
    description = ("This is a tool that fetches an actual image of a cat online. It takes no input, and returns the image of a cat.")

    inputs = []
    outputs = ["text"]

    def __call__(self):
        return Image.open(requests.get('https://cataas.com/cat', stream=True).raw).resize((256, 256))

CatImageFetcher를 단순 실행하면 다음과 같다냥. 😺

뚱냥 당첨

잘 만들어진 것을 확인했으니, 이제 custom tool로 Agent에 추가해 보자. 단 1줄!

from transformers.tools import HfAgent

agent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoder", additional_tools=[tool])

이제 agent에게 cat image를 보여달라고 prompt를 날리면, 알잘딱깔센으로 cat_fetcher()를 이용하여 찾아 온다. 정말 신기하고도 멋지다 😎😎

냥: ? 내가 왜 여기에 있지?

아래와 같이 기존 제공 기능과 혼합하여 사용할 수도 있다.

AI는 기술적으로의 발전뿐만 아니라 사용하기 위한 편의성도 가속성장하고 있는 듯하다. 사실 요새는 추상화가 너무 많이 되어서 알면 알수록 더 모르겠다 (ambiguous) . 필자는 researcher의 길보다는 engineer의 길이 더 맞는 듯하다. 열심히 따라잡아 보자 😎

 

References

본 코드의 전문을 github에 업로드 하였습니다. 본 코드는 transformers에서 발췌하여 변형한 코드입니다.

https://github.com/yerimJu/transformers/blob/main/Transformers_can_do_anything.ipynb

GitHub - yerimJu/transformers: transformers examples

https://colab.research.google.com/drive/1c7MHD-T1forUPGcC_jlwsIptOzpG3hSj

Transformers can do anything