Job Description

Jak wytrenować model, który rozumie szept, mowę bezgłośną i napiętą, skoro standardowe zbiory danych w ogóle tego nie zawierają?

Odpowiedź zaczyna się od danych: od tego, jak dobrze zostały zaprojektowane, pozyskane i sprawdzone. Jakość modeli jest ograniczona jakością korpusu.

W Etteplan szukamy Speech Data Engineera, który przejmie odpowiedzialność za pozyskiwanie danych głosowych dla technologii AI naszego klienta, od wyboru dostawców i protokołów nagrań, przez kontrolę jakości, po zgodność z GDPR.

Od ponad 40 lat łączymy wiedzę inżynierską z nowoczesnymi technologiami. Tworzymy rozwiązania z obszaru software, embedded systems i zaawansowanej inżynierii, pomagając klientom rozwijać produkty i systemy wykorzystywane w rzeczywistym świecie.

Rola w skrócie

Obszar: pozyskiwanie i kontrola jakości danych głosowych (speech data operations, data engineering)

Kluczowe technologie: Python, pipeline'y audio i metadanych, wersjonowanie zbiorów danych

Główne zagadnienia: zarządzanie dostawcami danych, protokoły nagrań, kontrola jakości, GDPR i dane biometryczne, licencje i pochodzenie danych (provenance), współpraca z badaczami AI

Środowisko: zbiory danych mowy w wielu językach, zewnętrzni dostawcy nagrań, zespół badawczy AI

O projekcie i Twojej roli

Dołączysz do zespołu klienta, który buduje działającą w czasie rzeczywistym, lokalnie na urządzeniu technologię audio AI. Przekształca ona szept, mowę bezgłośną i napiętą w czysty, naturalny głos, bez udziału chmury i z opóźnieniem pozwalającym na rozmowę. Technologia jest licencjonowana producentom sprzętu.

Modele klienta wymagają mowy, której standardowe zbiory danych nie obejmują. Istniejące korpusy to głównie mowa czytana i dźwięczna, nagrywana w cichych pomieszczeniach przez osoby mówiące normalnie, a produkty klienta działają na mowie szeptanej, bezgłośnej i napiętej, w warunkach rzeczywistych. Dane te pozyskiwane są przez wyspecjalizowanych partnerów w wielu językach, a Ty odpowiadasz za to, jak dobrze są zaprojektowane, pozyskane i sprawdzone.

To rola data engineera, której środek ciężkości leży w operacjach pozyskiwania danych: mniej więcej dwie trzecie operacji i jedna trzecia inżynierii. Wybierasz dostawców i zarządzasz nimi, piszesz protokoły, według których pracują, kontrolujesz jakość dostaw i prowadzisz pipeline, który sprawia, że wynik jest użyteczny. Jeśli szukasz roli czysto związanej z systemami rozproszonymi, to nie ta. Jeśli chcesz odpowiadać za zbiór danych od początku do końca i zobaczyć, jak zmienia wyniki modeli, to właśnie ta.

Dlaczego warto?

• Pracujesz nad problemem, którego nikt jeszcze nie rozwiązał. Nie istnieje gotowy podręcznik pozyskiwania mowy bezgłośnej w dobrej jakości i na dużą skalę, a Ty pomagasz go napisać.
• Odpowiadasz za zbiór danych od początku do końca. Widzisz, jak Twoja specyfikacja, kontrola jakości i decyzje o licencjach przekładają się na wyniki modeli.
• Masz krótką drogę od swojej pracy do gotowego produktu. SDK klienta trafia do urządzeń konsumenckich, a korpus decyduje o tym, jak dobrze brzmi wynik.
• Pracujesz w małym zespole, przy jednym stole z badaczami i dyrektorem produktu (CPO). Osoba odpowiedzialna za dane ma bezpośredni wpływ na decyzje.

W tej roli będziesz odpowiadać za:

• Pozyskiwanie zbiorów danych mowy od zewnętrznych firm zajmujących się zbieraniem danych: wybór dostawców, umowy zakresowe (SOW), standardy akceptacji, harmonogramy dostaw i budżety.
• Ustalanie specyfikacji paneli tak, aby każdy język był zrównoważony pod względem wieku, płci, akcentu i typu głosu, oraz sprawdzanie dostaw względem tych specyfikacji.
• Dbanie o to, aby dostawcy uczciwie płacili uczestnikom i jasno ich informowali.
• Pisanie protokołów nagrań dla każdego języka, według których działają dostawcy: zestawy tekstów, długość sesji i instrukcje dla mówców.
• Definiowanie macierzy przechwytywania (urządzenia, typy mikrofonów, odległość i warunki hałasu), tak aby korpus odzwierciedlał rzeczywiste użycie.
• Szacowanie skali każdej kolekcji: liczba mówców (w tym akcenty i emocje), godziny, zrównoważenie i koszt.
• Budowę i prowadzenie ścieżki przyjmowania danych (ingest) z automatyczną walidacją częstotliwości próbkowania, kanałów, przesterowań, głośności, stosunku sygnału do szumu, aktywności głosowej i wyrównania.
• Utrzymywanie schematu metadanych dla wielu języków, dostawców i sprzętu nagraniowego.
• Wersjonowanie zbiorów danych, pisanie notatek o wydaniach i zapewnianie powtarzalnych podziałów bez wycieku mówców między zbiorami.
• Ustalanie kryteriów akceptacji dla każdej partii i egzekwowanie ich, w tym wymuszanie poprawek, gdy partia ich nie spełnia.
• Prowadzenie eksperckich sesji odsłuchowych w zakresie, którego automatyka nie oceni, oraz monitorowanie dryfu między partiami, dostawcami i lokalizacjami.
• Dbanie o powtarzalność procesu tak, aby dodanie nowego języka było kwestią konfiguracji, a nie osobnym projektem.
• Zarządzanie modelem zgód: jawnym, celowym, udokumentowanym i możliwym do wycofania (nagrania głosu to dane biometryczne w rozumieniu GDPR).
• Zabezpieczanie licencji obejmujących wszystkie planowane zastosowania komercyjne i prowadzenie dokumentacji praw, którą da się prześledzić do każdej umowy.
• Prowadzenie rejestru pochodzenia (provenance) dla każdej próbki: kto, kiedy, na jakiej zgodzie i licencji oraz do jakich celów można jej użyć.
• Odpowiadanie za przechowywanie, usuwanie i wymazywanie danych w praktyce, w tym za to, co wycofanie zgody oznacza dla modelu, który został już wytrenowany.
• Udział w ocenie skutków dla ochrony danych (DPIA) oraz współpracę z doradcami regulacyjnymi nad warunkami kolekcji i unijnym aktem o sztucznej inteligencji (EU AI Act).
• Przekładanie potrzeb modeli na specyfikacje kolekcji, zamykanie pętli od każdego wydania zbioru do wyników ewaluacji modeli oraz wczesne informowanie zespołu badawczego, czego dane nie są w stanie wesprzeć.

Szukamy osoby, która:

• Ma co najmniej 4 lata doświadczenia w inżynierii danych, operacjach na danych mowy lub zarządzaniu korpusami, w tym przynajmniej jeden program kolekcji prowadzony samodzielnie od początku do końca.
• Ma praktyczne doświadczenie z danymi audio na dużą skalę: formaty, częstotliwości próbkowania, głośność, wyrównanie i metadane.
• Swobodnie programuje w Pythonie i sama pisze skrypt zamiast zgłaszać zadanie innym.
• Ma udokumentowane doświadczenie w zarządzaniu dostawcami: pozyskiwanie i kontraktowanie partnerów zbierających dane, umowy zakresowe, budżety, kryteria akceptacji oraz trudna rozmowa, gdy partia nie spełnia wymagań.
• Zna GDPR w zakresie danych biometrycznych i głosowych oraz swobodnie porusza się w licencjonowaniu danych i prawach do nich.
• Potrafi odmówić drogi na skróty, która zagraża możliwości licencjonowania korpusu.
• Potrafi koordynować pracę w różnych kulturach: będzie nadzorować kolekcje w językach, których nie zna, przez dostawców i lokalnych koordynatorów, nie tracąc odpowiedzialności za jakość.
• Pisze tak, żeby inni mogli według tego pracować: protokoły, kryteria akceptacji i notatki o wydaniach to główne wytwory tej pracy.
• Jest gotowa na okazjonalne podróże do dostawców.

Docenimy również:

• Wykształcenie lub doświadczenie z fonetyki lub lingwistyki, w tym praca z szeroką gamą rodzin językowych.
• Doświadczenie z uznanymi korpusami mowy lub platformami zbierania danych metodą crowdsourcingu.
• Doświadczenie w ewaluacji modeli mowy, takiej jak WER, MOS, MUSHRA i podobieństwo mówcy.
• Doświadczenie z przechwytywaniem dźwięku na urządzeniach lub w niestandardowych konfiguracjach.
• Dodatkowe języki: niderlandzki, mandaryński lub japoński.

Jak przebiega proces rekrutacyjny?

1. Prześlij nam swoje CV w języku angielskim, dopisując w formularzu oczekiwania finansowe, preferowaną formę współpracy oraz dyspozycyjność.
2. Teraz czas na nasz ruch - analizę Twojego zgłoszenia. Jeśli przebiegła pomyślnie, zaprosimy Cię na dłuższą rozmowę w formie zdalnej (ok. 1.5h).
3. Po spotkaniu spodziewaj się feedbacku w przeciągu 2 tygodni.
4. Powyższe etapy poszły Ci jak z płatka? Świetnie! Witaj w Etteplan :)

Możesz też zajrzeć na naszą stronę internetową lub Facebooka i zobaczyć, co ciekawego się u nas dzieje!

Nasza firma wdrożyła procedury ochrony sygnalistów zgodnie z obowiązującą ustawą. Każda osoba ma prawo zgłaszać nieprawidłowości w bezpieczny sposób, a zgłoszenia są objęte pełną ochroną prawną. Więcej informacji: https://www.etteplan.com/pl/kodeks-postepowania/