Experții în securitate cibernetică spun că, fără protecții adecvate, VALL-E  AI este înspăimântător: ar putea fi folosit pentru atacuri de phishing și pentru dezinformare.

VALL-E AI creează o voce sintetică mult mai naturală decât alte modele, păstrând intonația

Pe lângă reducerea timpului de antrenament pentru a genera o nouă voce, VALL-E AI creează o voce sintetică mult mai naturală decât alte modele, păstrând intonația, carisma și stilul eșantionului original.

Acestea pot fi apoi direcționate după cum este necesar în procesul de redactare a unui text, care apoi trebuie înregistrat audio și editat pentru a fi inclus într-un material finit, scrie Techmonitor.

Aceste caracteristici înseamnă că, pe baza a doar trei secunde de vorbire, dintr-un apel telefonic, dintr-o discuție personală sau chiar dintr-un podcast, modelul poate sintetiza acea voce pentru a rosti orice propoziție. Astfel, am putea vedea cuvinte puse astfel în gura unui politician sau chiar a unui membru al familiei, care susține că are nevoie de bani.

Va fi greu de spus dacă auziți o voce reală sau falsă

Performanța s-a îmbunătățit față de modelele anterioare de voce sintetică atât de mult, încât va fi greu de spus dacă auziți o voce reală sau falsă, spune Microsoft. Microsoft numește acest AI „neural codec language model”, fiind construit pe tehnologia EnCodec.

Software-ul poate analiza sunetele pe care persoana le are în timp ce vorbește și folosește rezultatele pentru a crea o reproducere cât mai corectă a vocii. Antrenamentul AI-ului VALL-E a fost realizat folosind o selecție de 60.000 de ore de sunet, de la 7.000 de persoane diferite, din biblioteca de sunete LibriVox, care include cărți audio gratuite.

VALL-E ar putea fi folosit în jocuri și fintech

Codul pentru VALL-E nu este în prezent disponibil publicului și au fost publicate doar fișiere audio mostră, produse cu ajutorul instrumentului.

Nu este clar când sau dacă Microsoft intenționează să facă VALL-E disponibil ca instrument de acces public sau comercial.

Cel mai mare beneficiu de la VALL-E

Cel mai mare beneficiu al VALL-E este amploarea sa potențială, spune Arun Chandrasekaran, analist la Gartner. Poate fi eficient în scenariile „zero-shot” sau „few-shot” în care sunt disponibile puține date de antrenament specifice domeniului.

În plus, dacă aceste modele pot fi livrate ca serviciu cloud, pot reduce timpul/efortul necesar pentru a pune în funcțiune modelele, spre deosebire de abordările clasice.