Fun-ASR MTL

Specifiche e limiti

• Livello multilingue e multi-task della famiglia Fun-ASR
• l'attuale riferimento della API HTTP elenca le stesse 30 lingue del modello base, con il cinese limitato a mandarino e cantonese

fonte: documentazione ufficiale di Alibaba ↗

Usa Fun-ASR MTL in 30 secondi

Compatibile con OpenAI: cambi base_url e tieni il tuo SDK. POST /v1/audio/transcriptions

from openai import OpenAI

client = OpenAI(
    base_url="https://synthorai.io/v1",
    api_key="sk-syn-...",
)

resp = client.audio.transcriptions.create(
    model="fun-asr-mtl",
    file=open("meeting.mp3", "rb"),
    language="en",
)
print(resp.text)

import OpenAI from "openai";
import fs from "node:fs";

const client = new OpenAI({
  baseURL: "https://synthorai.io/v1",
  apiKey: "sk-syn-...",
});

const resp = await client.audio.transcriptions.create({
  model: "fun-asr-mtl",
  file: fs.createReadStream("meeting.mp3"),
});
console.log(resp.text);

curl https://synthorai.io/v1/audio/transcriptions \
  -H "Authorization: Bearer sk-syn-..." \
  -F model="fun-asr-mtl" \
  -F file=@meeting.mp3

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://synthorai.io/v1"),
		option.WithAPIKey("sk-syn-..."),
	)
	f, _ := os.Open("meeting.mp3")
	resp, _ := client.Audio.Transcriptions.New(context.TODO(), openai.AudioTranscriptionNewParams{
		Model: "fun-asr-mtl",
		File:  f,
	})
	fmt.Println(resp.Text)
}

import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.models.audio.transcriptions.*;
import java.nio.file.Paths;

OpenAIClient client = OpenAIOkHttpClient.builder()
    .baseUrl("https://synthorai.io/v1")
    .apiKey("sk-syn-...")
    .build();

Transcription resp = client.audio().transcriptions().create(
    TranscriptionCreateParams.builder()
        .model("fun-asr-mtl")
        .file(Paths.get("meeting.mp3"))
        .build()).asTranscription();
System.out.println(resp.text());

Informazioni su Fun-ASR MTL

• Come il modello base elabora offline file audio fino a 12 ore e 2 GB, e la documentazione ufficiale elenca il supporto per la personalizzazione con hotword e per la diarizzazione dei parlanti, con un riconoscimento che spazia dal cinese (mandarino e cantonese) all'inglese, al giapponese, al coreano e a un'ampia gamma di lingue europee e del Sud-est asiatico.
• Punta ai carichi di lavoro che mescolano lingue e richiedono l'identificazione dei parlanti dentro un'unica pipeline.
• La sua storia ne spiega l'esistenza: al lancio della famiglia, lo snapshot Fun-ASR allora corrente copriva solo cinese e inglese, e MTL era la variante che vi aggiungeva sopra cantonese, giapponese, thailandese, vietnamita e indonesiano.
• Da allora il modello base è stato aggiornato e il riferimento dell'API HTTP elenca ora lo stesso ampio insieme di lingue per entrambi, quindi i due sono convergiti.
• Le pagine di Alibaba non tracciano più una linea esplicita di capacità tra loro.
• Tutto il resto segue la famiglia: trascrizione asincrona a invio e interrogazione, tabelle di hotword per il vocabolario di dominio stabile, diarizzazione opzionale con un numero di parlanti dichiarato e timestamp a livello di frase e di parola in millisecondi.
• Il riconoscimento delle emozioni non fa parte di questa linea e, come per il modello gemello, la documentazione nota che viene letta solo la prima voce di una lista di suggerimenti di lingua.
• Il nome stabile del modello si risolve in uno snapshot datato, quindi conviene fissare lo snapshot se la copertura linguistica è importante.
• Synthorai instrada le richieste verso di esso tramite il familiare endpoint compatibile OpenAI.

FAQ

Modelli correlati

Confronta