Student entwickelt künstliche Intelligenz, die Gebärdensprache in Echtzeit übersetzt

Im aktuellen Technologieszenario wird über kein Thema so viel über neue Innovationen spekuliert wie über künstliche Intelligenz. Inmitten dieses Wettbewerbsszenarios entpuppt sich Gabriel Sales, ein Statistikstudent an der UFF in Rio de Janeiro, als Visionär, indem er ein Projekt für künstliche Intelligenz leitet, das Gebärdensprache übersetzt. Sein Projekt zielt darauf ab, Kommunikationsbarrieren zwischen gehörlosen und hörenden Menschen zu überwinden und bietet eine effektive Möglichkeit, Gebärdensprache in Echtzeit ins Portugiesische zu transkribieren.

Laut Gabriel besteht das Hauptziel dieser KI darin, die Art und Weise, wie gehörlose Menschen kommunizieren, zu revolutionieren und der Gemeinschaft Zugänglichkeit, Unabhängigkeit und Möglichkeiten zu bieten. Das noch in der Entwicklung befindliche Projekt zeigt, dass es in der Lage ist, die Zeichen gehörloser Menschen in Videos zu interpretieren und sie sofort ins Portugiesische zu übersetzen.

Wie funktioniert KI für gehörlose Menschen?

Um sein Ziel zu erreichen, nutzt das Projekt drei unterschiedliche künstliche Intelligenzen. Die erste KI ist dafür verantwortlich, wichtige Punkte am Körper zu erfassen und sie in den Bildern eines Videos abzubilden. Diese Daten werden dann an die zweite KI gesendet, einen Klassifikator, der das spezifische Signal identifiziert, das gesendet wird. Die neueste KI kommt zum Einsatz, um die identifizierten Signale zu kontextualisieren und die Liste der vorhergesagten Signale in eine lesbare und verständliche Nachricht auf Portugiesisch umzuwandeln.

Das Potenzial dieses Projekts ist riesig. Im Allgemeinen würde die gesamte Kommunikation zwischen gehörlosen Menschen und Menschen mit Schwierigkeiten bei der Interpretation von Libras durch eine Simultanübersetzung vereinfacht, die den Lärm im Dialog beseitigen würde. Wenn die Technologie wirksam ist, könnte sie laut IBGE mehrere Kommunikationsprobleme lösen, von denen etwa 10 Millionen gehörlose Bürger in Brasilien, etwa 5 % der brasilianischen Bevölkerung, betroffen sind.

Allerdings steht Gabriel Sales bei seinem Projekt vor Herausforderungen, wie etwa Hardware- und Ressourcenbeschränkungen für die Erfassung wichtiger Daten. Er sucht nach Beiträgen zur Anschaffung eines leistungsfähigeren Computers, hochwertiger Kameras und Ressourcen, um die Forschung und Entwicklung des Projekts voranzutreiben Vakinha online.

Das allein von Gabriel Sales geleitete Projekt spiegelt nicht nur seine Leidenschaft für Technologie wider, sondern unterstreicht auch die Kraft der künstlichen Intelligenz, innovative Lösungen mit erheblicher sozialer Wirkung zu schaffen. Veröffentlichen Sie Videos zu Ihren KI-Updates auf Instagram, @projeto_ia_librasGabriel hat bereits mehr als 86,1 Tausend Follower sowie Tausende Aufrufe seiner Beiträge gewonnen.

Interview mit dem Erfinder der KI

Um die Funktionalität dieser KI bei der Echtzeittranskription von Dialogen mit Gebärdensprache besser zu verstehen, haben wir den Programmierer und Erfinder des Projekts, den Statistikstudenten Gabriel Sales, interviewt.

Wer ist der Programmierer und UFF-Statistikstudent hinter dem Projekt? Und wie sind Sie auf diese Idee gekommen?

Gabriel Vertrieb: Mein Name ist Gabriel, ich komme aus Rio de Janeiro. Ich bin ein technikbegeisterter Student. Ich hatte meinen ersten Computer, als ich zehn Jahre alt war, und von da an beschäftigte ich mich mit diesem Bereich der Informatik. Ich begann mit dem Programmieren zu studieren, seit ich zwölf Jahre alt war, und machte Fortschritte, bis ich schließlich in der Datenwissenschaft landete. Als ich den Bereich entdeckte, fand ich ihn wirklich cool, vor allem der Teil mit künstlicher Intelligenz, bei dem Roboter fast menschlich denken, das hat mich sehr fasziniert. Und so begann ich, diese Dinge zu studieren. Ich habe mich an der Fakultät für Statistik der UFF angemeldet, da Statistik eine wichtige Grundlage für die Datenwissenschaft darstellt. Und ich begann meine Reise in diesem Bereich der künstlichen Intelligenz.

Ich fing an, tiefer in die KI einzutauchen und begann, mehrere kleine Projekte durchzuführen. Und dann hatte ich im ersten Semester letzten Jahres einen Waage-Kurs an meiner Hochschule und war von der Geschichte der Lehrerin sehr fasziniert, denn sie war taub und schaffte es trotz aller Schwierigkeiten, die sie in ihrer Geschichte erwähnte, Ärztin zu werden.

Also begann ich darüber nachzudenken, was ich tun könnte, was für diese Gemeinschaft interessant und integrativ wäre, um ihnen zu helfen. Und dann begann ich mit einer Idee einer künstlichen Intelligenz, die die Libra-Alphabete klassifizieren könnte. Typ: Buchstabe a, Buchstabe b, Buchstabe c usw. Das alles per Video. Das war meine erste Idee, mein erster Test, um zu sehen, wie schwierig und komplex es sein würde, und dann habe ich mich weiterentwickelt, begann, robuste Signale hinzuzufügen und das Wissen über KI zu verbessern.

Wie definieren Sie Ihr Projekt? Was wollen Sie damit an der aktuellen Realität, insbesondere für Hörgeschädigte, ändern?

Gabriel Vertrieb: Das Hauptziel besteht darin, die Kommunikation zwischen gehörlosen und hörenden Menschen zu revolutionieren, da zwischen diesen Menschen eine große Barriere besteht. Denn um mit gehörlosen Menschen kommunizieren zu können, muss man Waagen unbedingt kennen. Mit diesem künstlichen Intelligenzsystem können Sie diese Barriere ein wenig abbauen. Wir können dies in Unternehmen, im Kundenservice, in der digitalen Barrierefreiheit anwenden. Der gehörlose Klient geht dorthin und kann deutlich sagen, was er will. Wenn er etwas kaufen möchte, wenn er besondere Unterstützung benötigt, ohne auf einen Libra-Dolmetscher angewiesen zu sein, kann alles digital mit KI erledigt werden.

Auch in Krankenhäusern, in Notsituationen, wo die Person schnelle Hilfe braucht und man manchmal niemanden hat, der Libras sprechen kann, oder? Manchmal muss man ihre Blutgruppe kennen, man muss wissen, ob sie eine Krankheit oder ähnliches hat, und mit diesem System wäre das auch möglich.

Auch in der Bildung wird dieses Bildungssystem, um Waagen zu lehren, sehr effizient dabei sein, die Genauigkeit der Schüler zu testen, ob sie die Zeichen richtig machen und ob sie gut lernen. Und selbst für gehörlose Lehrer, die nicht alle sprechen können, denn es gibt einige gehörlose Menschen, die die Fähigkeit zum Sprechen entwickeln können, aber nicht alle, wäre das System auch in diesem Fall nützlich. Es sind also mehrere Anträge möglich.

Wie beschreiben Sie, wie diese KI funktioniert?

Gabriel Vertrieb: Es gibt drei KIs. Eines, um die Schlüsselpunkte des Körpers zu erfassen, sodass der gesamte Körper der Person, das Gesicht, die Schulter, der Ellbogen, die Hände, die Finger und dies im Verlauf der Frames abgebildet werden, weil wir das weiter machen müssen Video . Diese Zuordnung erfolgt also im Laufe der Frames. Anschließend wird es an einen Klassifikator übergeben. Es klassifiziert diese Daten anhand der Schlüsselpunkte des Körpers und teilt Ihnen mit, um welche Option es sich handelt.

Und die letzte KI besteht darin, den Kontext der Signale zu erstellen. Nachdem sie also den Körper kartiert und klassifiziert hat, um welches Zeichen es sich handelt, wird sie die Liste der vorhergesagten Zeichen zusammenstellen und diese in eine Botschaft umwandeln, eine natürliche Botschaft, die lesbar und verständlich ist. Anschließend stellt diese KI den Kontext der Signale zusammen, die bereits von der zweiten KI vorhergesagt wurden.

Ist Ihr Projekt insgesamt einzigartig oder haben Sie ähnliche Projekte mit KI, um gehörlosen Menschen auf diese Weise zu helfen?

Gabriel Vertrieb: Es muss sicher ähnliche Projekte geben. Aber keiner von ihnen wurde umgesetzt, möglicherweise aufgrund fehlender Investitionen in Brasilien. Menschen verlassen das Land, vor allem wegen des einfachen Zugangs zu Technologie. Aber ich weiß nicht, ob sie entwickelt werden (andere Projekte), möglicherweise gibt es Prototypen.

Im November 2023 berichtete Showmetech, dass Lenovo im Jahr 2024 eine KI auf den Markt bringen will, die Gebärdensprache interpretieren und übersetzen kann.

Was ist in diesem Fall für Sie der größte Unterschied Ihres Projekts?

Gabriel Vertrieb: Durch die Fähigkeit zur Skalierung kann es mit Investitionen sehr einfach skaliert und schneller entwickelt werden ... Der Hauptunterschied besteht darin, dass wir die Kommunikationsbarriere für gehörlose Menschen überwinden, da dies in Bildung, Wirtschaft, Kultur und Politik hilfreich ist.

Was würden Sie benötigen, um das Projekt maßstabsgetreu zu machen?

Gabriel Vertrieb: Ich brauche Daten, denn die KI braucht Videos, um trainiert zu werden... Es ist, als würde man einem Kind beibringen, wir müssen zeigen, was das Signal ist, und es mehrmals wiederholen, bis es es versteht. Und auch die Ausrüstung, um sie alle zu verarbeiten, da wir eine erstellen werden Big Data daher.

Gabriel hat Ende 2023 einen Vakinha ins Leben gerufen, damit andere Menschen die Entwicklung des Projekts unterstützen können.

Was sind Ihre nächsten Schritte mit dem Projekt?

Gabriel Vertrieb: Ich suche schon seit einiger Zeit nach einem Partnerunternehmen, es gibt eines, das mir bei meiner Website hilft. Und jetzt suche ich nach einer Partnerschaft mit einigen einflussreichen Leuten in diesem Markt, um vielleicht ein Startup zu eröffnen, Investoren zu gewinnen und dann leichter skalieren zu können. Die Idee besteht darin, an Unternehmen zu verkaufen, die eine digitale Zugänglichkeit wünschen, um diese ihren Kunden anzubieten.

Wie schützen Sie Ihre KI vor „Plagiaten“?

Gabriel Vertrieb: Wenn es um künstliche Intelligenz geht, ist es schwierig, zu plagiieren. Sie können etwas Ähnliches tun, aber es ist trotzdem sehr schwierig. Es ist, als würde Elon Musk eine KI ähnlich wie ChatGPT entwickeln, er kann es, aber beide werden unterschiedliche Antworten haben. Denn was dem entgegensteht, sind die verfügbaren Daten, und die in Pfund sind knapp. Es sind Investitionen in die Datenerfassung erforderlich.

Welchen Tests unterziehen Sie sich, um zu verstehen, dass die KI die Signale in Pfund richtig interpretiert?

Gabriel Vertrieb: Ich führe Tests in Echtzeit durch und gebe verschiedene Signale, um die Genauigkeit zu überprüfen. Das wenige Wissen in Pfund, das ich während des Studiums gelernt habe, wende ich an und schaue mir Videos im Internet an, um ein KI-Training zu entwickeln.

Siehe auch:

Fontes: Milne, Forbes e SmartClick.

Rezensiert von Glaukon Vital in 18 / 1 / 24.