Fun-ASR MTL

Especificações e limites

• Nível multilíngue e multitarefa da família Fun-ASR
• a referência atual da API HTTP lista os mesmos 30 idiomas do modelo base, com o chinês limitado a mandarim e cantonês

conforme documentação oficial da Alibaba ↗

Use o Fun-ASR MTL em 30 segundos

Compatível com OpenAI: troque a base_url, mantenha seu SDK. POST /v1/audio/transcriptions

from openai import OpenAI

client = OpenAI(
    base_url="https://synthorai.io/v1",
    api_key="sk-syn-...",
)

resp = client.audio.transcriptions.create(
    model="fun-asr-mtl",
    file=open("meeting.mp3", "rb"),
    language="en",
)
print(resp.text)

import OpenAI from "openai";
import fs from "node:fs";

const client = new OpenAI({
  baseURL: "https://synthorai.io/v1",
  apiKey: "sk-syn-...",
});

const resp = await client.audio.transcriptions.create({
  model: "fun-asr-mtl",
  file: fs.createReadStream("meeting.mp3"),
});
console.log(resp.text);

curl https://synthorai.io/v1/audio/transcriptions \
  -H "Authorization: Bearer sk-syn-..." \
  -F model="fun-asr-mtl" \
  -F file=@meeting.mp3

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://synthorai.io/v1"),
		option.WithAPIKey("sk-syn-..."),
	)
	f, _ := os.Open("meeting.mp3")
	resp, _ := client.Audio.Transcriptions.New(context.TODO(), openai.AudioTranscriptionNewParams{
		Model: "fun-asr-mtl",
		File:  f,
	})
	fmt.Println(resp.Text)
}

import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.models.audio.transcriptions.*;
import java.nio.file.Paths;

OpenAIClient client = OpenAIOkHttpClient.builder()
    .baseUrl("https://synthorai.io/v1")
    .apiKey("sk-syn-...")
    .build();

Transcription resp = client.audio().transcriptions().create(
    TranscriptionCreateParams.builder()
        .model("fun-asr-mtl")
        .file(Paths.get("meeting.mp3"))
        .build()).asTranscription();
System.out.println(resp.text());

Sobre o Fun-ASR MTL

• Como o modelo base, ele processa arquivos de áudio de até 12 horas e 2 GB offline, e a documentação oficial lista suporte a personalização de hotwords e diarização de locutores, com reconhecimento abrangendo chinês (mandarim e cantonês), inglês, japonês, coreano e uma ampla gama de idiomas europeus e do Sudeste Asiático.
• Ele mira cargas de trabalho que misturam idiomas e precisam de identificação de locutores em um único pipeline.
• Sua história explica sua existência: quando a família foi lançada, o snapshot então atual do Fun-ASR cobria apenas chinês e inglês, e o MTL foi a variante que acrescentou cantonês, japonês, tailandês, vietnamita e indonésio por cima.
• Desde então o modelo base foi atualizado e a referência da API HTTP agora lista o mesmo conjunto amplo de idiomas para os dois, de modo que ambos convergiram.
• As próprias páginas da Alibaba não traçam mais uma linha explícita de capacidade entre eles.
• Todo o resto segue a família: transcrição assíncrona de enviar e consultar, tabelas de hotwords para vocabulário de domínio estável, diarização opcional com contagem de locutores declarada, e timestamps por sentença e por palavra em milissegundos.
• O reconhecimento de emoção não faz parte desta linha e, como no seu irmão, a documentação nota que apenas a primeira entrada de uma lista de dicas de idioma é lida.
• O nome estável do modelo resolve para um snapshot datado, então fixe o snapshot se a sua cobertura de idiomas importa.
• A Synthorai roteia requisições a ele pelo familiar endpoint compatível com OpenAI.

Perguntas frequentes

Modelos relacionados

Comparar