Handspårning i realtid
Teckenspråk används av miljontals människor runt om i världen. Forskare har arbetat med att bygga teknik som kan förstå gesterna och automatiskt konvertera dem till mänskligt förståeligt språk. Sådana projekt har dock inte vunnit stora framgångar när det gäller noggrannhet.
Google har nyligen utvecklat en algoritm som kan användas för handspårning i realtid. Det intelligenta systemet utnyttjar maskininlärning för att skapa en handkarta. Kartan skapas med hjälp av en kamera eller en smartphone. Vi kan inte förneka det faktum att de flesta system misslyckas med att fånga snabba handrörelser exakt. Google har specifikt tagit upp detta problem i denna forskning. Intressant har de begränsat mängden data som tidigare behandlats av algoritmerna.
Hur fungerar handspårning i realtid?
De flesta av de befintliga projekten översätter teckenspråket genom att upptäcka storleken och placeringen av hela handen. Med denna forskning. forskarna har eliminerat behovet av att hantera rektangulära former i olika storlekar. Googles system känner bara igen handflatan som är fyrkantig i form. För det andra görs en separat analysprocess för fingrarna.
Handgester
Forskarna använde cirka 30 000 handbilder för att träna maskininlärningsalgoritmen. Dessa bilder fångades under olika ljusförhållanden och pose. Systemet upptäcker sedan gesten genom att göra en jämförelse mellan handposen och en lista över kända enheter som en boll eller lycka. Google beskriver gestigenkänning i a blogginlägg .
Sedan mappar vi uppsättningen fingerstatus till en uppsättning fördefinierade gester. Denna enkla men ändå effektiva teknik gör att vi kan uppskatta grundläggande statiska gester med rimlig kvalitet. Den befintliga rörledningen stöder räkning av gester från flera kulturer, t.ex. Amerikanska, europeiska och kinesiska, och olika handskyltar inklusive “Thumb up”, stängd näve, “OK”, “Rock” och “Spiderman”.
Den slutliga handspårningsalgoritmen ger toppmoderna resultat när det gäller hastighet och noggrannhet. Algoritmen använder MediaPipe-ramverk för att köra. Denna teknik verkar som ett stort framsteg inom teckenspråkdomänen. Även om det fortfarande finns mycket utrymme för förbättringar. för att skapa en bättre förståelse för teckenspråket. Vem som helst kan utöka detta arbete för att använda ansiktsuttryck och båda händerna för att uppnå bättre resultat.
Även om det inte finns något ord från Google finns det en möjlighet att Google kan förbättra denna realtidshandspårningsteknik för att använda den i sina produkter. Under tiden, om du vill leka med koden, är det det offentligt tillgänglig på GitHub .
Taggar Google
