Meta bringt Llama 3 auf den Markt, ein KI-Modell, das Bilder in Echtzeit auf WhatsApp generieren kann

Heute (18.) die Meta kündigte die ersten beiden Modelle der nächsten Generation des Llama an, den Meta Lama 3, bereit für den umfassenden Einsatz. Diese neue Version enthält vorab trainierte und fein abgestimmte Sprachmodelle mit Parametern 8B e 70 Mrd, in der Lage, ein breites Spektrum an Anforderungen zu erfüllen. Der Tradition folgend, die Open-Source-Community zu unterstützen, hat Meta das erstellt Lama 3 für die Gemeinschaft. Das bedeutet auch, dass die Meta-KI, die in den sozialen Netzwerken des Unternehmens vorhandene künstliche Intelligenz, wird ebenfalls verbessert, einschließlich der Möglichkeit, Bilder in Echtzeit im zu erstellen WhatsApp. Mehr sehen!

Treffen Sie Lama 3

Mit dem Lama 3 Das Unternehmen beabsichtigt, offene Modelle zu entwickeln, die mit den besten derzeit verfügbaren proprietären Sprachmodellen konkurrieren können, wie dies bei der Fall ist GPT-4. Laut Meta wurde das Feedback der Entwickler priorisiert, um die allgemeine Benutzerfreundlichkeit von Llama 3 zu verbessern: „Aufrechterhaltung einer Verpflichtung zur Führung bei der verantwortungsvollen Nutzung und Implementierung von Grand Language Models (LLMs)".

Nach den Grundsätzen von Code öffnen, wurde ein früher und häufiger Release-Ansatz gewählt, der es der Community ermöglicht, in Echtzeit auf diese Modelle zuzugreifen und an deren Entwicklung mitzuwirken. Die heute vorgestellten textbasierten Vorlagen sind nur die ersten in der Llama 3-Reihe. Die Vision für die Zukunft umfasst die weitere Erweiterung von Llama 3, um mehrsprachige und multimodale Unterstützung zu bieten, die Kontextfähigkeit zu erhöhen und die Leistung in allen wichtigen Aspekten kontinuierlich zu verbessern LLMs, wie Argumentation und Kodierung.

Im Einklang mit dem Designansatz in Lama 3, Meta entschied sich für eine Transformer-Architektur Nur Decoder, was eine Standardauswahl ist. Llama 3 verwendet Tokenisierung mit einem erweiterten Vokabular von 128 Tausend TokenDies führt zu einer effizienteren Sprachcodierung und folglich zu einer verbesserten Modellleistung. Um die Inferenzeffizienz von Llama-3-Modellen zu optimieren, hat das Unternehmen die Clustered-Query-Attention-Technik integriert (GQA) in zwei verschiedenen Größen: 8B und 70B. Während des Trainings haben die verwendeten Sequenzen eine Länge von 8.192 Token, und es wird eine Maske angewendet, um sicherzustellen, dass die Selbstaufmerksamkeit innerhalb der Dokumentgrenzen bleibt.

Um das beste Sprachmodell zu trainieren, ist ein großer, qualitativ hochwertiger Trainingsdatensatz unerlässlich. Im Einklang mit unseren Designprinzipien haben wir erheblich in Vortrainingsdaten für Llama 3 investiert. Dieses Modell wird vorab trainiert mehr als 15 Billionen Token, alles aus öffentlich zugänglichen Quellen. Unser Trainingsdatensatz ist siebenmal größer als der für Llama 2 verwendete und enthält viermal so viel Code.

Zur Vorbereitung auf zukünftige mehrsprachige Anwendungsfälle bestehen mehr als 5 % des Llama 3-Vortrainingsdatensatzes aus hochwertigen Daten in anderen Sprachen als Englisch. deckt mehr als 30 Sprachen ab. Meta erwartet jedoch nicht, in diesen Sprachen das gleiche Leistungsniveau wie im Englischen zu erreichen.

Um sicherzustellen, dass Llama 3 mit Daten höchster Qualität trainiert wird, wurde eine Reihe von Datenfilterungspipelines entwickelt. Diese Pipelines umfassen die Verwendung von Heuristische Filter, Filter für unangemessene Inhalte, semantische Deduplizierungstechniken und Textklassifizierer zur Bewertung der Datenqualität. Frühere Versionen von Llama sind wirksam in hochwertige Datenidentifikation, dann wurde Llama 2 verwendet, um die Trainingsdaten für die Textqualitätsklassifikatoren zu generieren, die Llama 3 füttern.

Darüber hinaus verwendete Meta Experimente, um die besten Möglichkeiten zum Zusammenführen von Daten aus verschiedenen Quellen im endgültigen Datensatz vor dem Training zu ermitteln. Diese Experimente ermöglichten es uns, eine Datenkombination auszuwählen, die sicherstellt, dass Llama 3 in einer Vielzahl von Anwendungsfällen eine gute Leistung erbringt, darunter Trivia-Fragen, STENGEL (Wissenschaft, Technik, Ingenieurwesen und Mathematik), Kodifizierung, historisches Wissen, Unter anderem.

Vergleich mit Lama 2

die neuen Modelle Lama 3, mit Parametern von 8B und 70B, stellen einen Fortschritt gegenüber dem dar Lama 2, was einen neuen Standard für LLM-Modelle in diesen Maßstäben setzt. Meta behauptet, dass aufgrund von Verbesserungen sowohl vor als auch nach dem Training vorab trainierte und durch Anweisungen fein abgestimmte Modelle derzeit die unangefochtenen Spitzenreiter auf der 8B- und 70B-Parameterskala sind.

Optimierungen in den Abläufen nach dem Training führten zu a Reduzierung fehlerhafter Ablehnungsraten, zusätzlich zur Verbesserung der Ausrichtung und Erhöhung der Vielfalt der Modellantworten. Auch bei Funktionen wie Argumentation, Codegenerierung und zukünftiger Anleitung wurden deutliche Verbesserungen beobachtet, die Llama 3 noch anpassungsfähiger und zielgerichteter machen.

Während der Entwicklung von Llama 3 erfolgte eine Analyse der Leistung des Modells, sowohl in Standard-Benchmarks als auch in realen Szenarien. Um eine effektive Optimierung für praktische Anwendungen zu gewährleisten, wurde eine neue, hochwertige Human-Evaluation-Suite geschaffen. Dieses Set besteht aus 1.800 Eingabeaufforderungen, die 12 Hauptanwendungsfälle abdecken, darunter Um Rat fragen, Brainstorming, Sortieren, Beantworten geschlossener Fragen, Codieren, kreatives Schreiben, Extrahieren, Nachahmen von Charakteren/Personas, Beantworten offener Fragen, Argumentation, Umschreiben e Zusammenfassung.

Um das zu vermeiden Überanpassung (oder Überanpassung, der am häufigsten verwendete Begriff) Zufällige Modelle für diesen Bewertungssatz, selbst Metas eigene Modellierungsteams haben keinen Zugriff darauf. Die dargestellte Grafik zeigt die aggregierten Ergebnisse menschlicher Bewertungen in diesen Kategorien und Eingabeaufforderungen und vergleicht die Leistung von Llama 3 mit den Modellen Claude Sonnet, Mistral Medium e GPT-3.5.

Wie Llama 3 die Meta-KI verbessert

Aufgrund der Fortschritte bei Meta Llama 3 kündigt das Unternehmen die internationale Expansion von Meta AI an – unter Hinweis darauf, dass die Ressource exklusiv für die USA verfügbar war. Als starker Konkurrent zu bestehenden Modellen steht Meta AI nun mehr Menschen auf der ganzen Welt zur Verfügung und ermöglicht Benutzern von Facebook, Instagram, WhatsApp e Messenger Genießen Sie diese kostenlose Technologie, um eine Vielzahl von Aktionen auszuführen, Inhalte zu erstellen und auf Informationen in Echtzeit zuzugreifen.

Meta AI wurde letztes Jahr erstmals während der Connect vorgestellt und wird nun von Benutzern in Ländern wie … genutzt Australien, Kanada, Ghana, Jamaika, Malawi, Neuseeland, Nigeria, Pakistan, Singapur, Südafrika, Uganda, Sambia e Zimbábue kann auch seine Vorteile genießen. Im Rahmen der Erweiterung von Meta AI wird es nun auch Menschen möglich sein, darauf zuzugreifen meta.ai, in der Webversion.

Planen Sie, abends mit Freunden auszugehen? Bitten Sie Meta AI, ein Restaurant mit einer atemberaubenden Aussicht und sogar veganen Optionen zu empfehlen. Planen Sie einen Ausflug für das Wochenende? Bitten Sie Meta AI, Shows für Samstagabend zu finden. Bereiten Sie sich auf eine Prüfung vor? Bitten Sie Meta AI, zu erklären, wie erbliche Merkmale funktionieren. Ziehen Sie in Ihre erste Wohnung? Bitten Sie Meta AI, sich die gewünschte Ästhetik vorzustellen, und der Assistent erstellt einige Inspirationsfotos für Ihre Möbel. 

Meta erklärt ein wenig, wie KI Ihnen helfen kann

O Meta-KI Es wird auch direkt in der Suchfunktion von Facebook, Instagram, WhatsApp und Messenger verfügbar sein. Das bedeutet, dass Sie es können Zugriff auf Informationen aus dem Internet in Echtzeit ohne zwischen Anwendungen wechseln zu müssen. Stellen Sie sich zum Beispiel vor, Sie planen eine Reise mit Freunden in einem Messenger-Gruppenchat. Mit der Messenger-Suche können Sie Meta AI – unterstützt durch das neue Llama 3 – bitten, Flüge von Ihrem Abflugort zu Ihrem Zielort zu finden und die Wochenenden mit der langsamsten Reisedauer zu entdecken. Und das alles natürlich, ohne die Messenger-App verlassen zu müssen.

Menschen haben auch die Möglichkeit, auf Meta AI zuzugreifen, während sie ihren Facebook-Feed durchsuchen. Wenn Sie einen Beitrag finden, der Ihr Interesse weckt, können Sie direkt von Meta AI aus diesem Beitrag weitere Informationen anfordern, genau wie bei einer normalen Google-Suche, nur innerhalb eines Facebook-Beitrags.

Meta beschleunigt den Bildgebungsprozess, um es Menschen zu ermöglichen, mithilfe der Imagine-Funktion von Meta AI Echtzeitbilder aus Text zu erstellen. Die Einführung dieser Funktion begann heute in der Betaversion und ist auf WhatsApp und dem Meta AI-Weberlebnis in den USA verfügbar. Wenn sie mit der Eingabe beginnen, sehen die Leute sofort ein Bild. Dieses Bild entwickelt sich mit jeder Eingabe von wenigen Buchstaben weiter, sodass Sie zusehen können, wie Meta AI Ihre Idee in Echtzeit zum Leben erweckt.

Nach Angaben des Unternehmens stellen diese generierten Bilder eine dar verbesserte Schärfe und Qualität, was eine bessere Möglichkeit bietet, Text in Bilder einzubinden. Darüber hinaus erhalten Sie Vorschläge zur Verbesserung des Bildes, sodass Sie von Ihrem ursprünglichen Ausgangspunkt aus weiter verfeinern können. Wenn Sie ein Bild finden, bitten Sie Meta AI einfach, es zu animieren, an ein neues Format anzupassen oder es sogar in ein Bild umzuwandeln GIF um es mit deinen Freunden zu teilen.

Während diese Updates speziell für Meta AI auf Facebook, Instagram, WhatsApp, Messenger und im Internet gelten, ist es wichtig zu bedenken, dass Meta AI in den USA auch für Datenbrillen verfügbar ist Ray-Ban Meta, und bald in Meta-Quest — Meta-Virtual-Reality-Geräte.

Transparenz mit Open Source und Sicherheit

Das Potenzial der generativen KI-Technologie kann das Benutzererlebnis der Produkte von Meta und des breiteren Ökosystems wirklich verbessern. Ein weiterer Punkt, der angegangen werden muss, besteht darin, sicherzustellen, dass dies in einem geschieht verantwortlich e sicher. Daher ergreift das Unternehmen Maßnahmen zur Bewertung und Minderung von Risiken in allen Phasen der KI-Entwicklung und -Implementierung. Dazu gehört die Integration von Schutzmaßnahmen in den Entwurfs- und Veröffentlichungsprozess des Llama-Basismodells sowie die Unterstützung des Entwicklerökosystems bei der Förderung verantwortungsvoller Praktiken.

Daher wurde mit Llama 3 ein systematischer Ansatz gewählt, der integriert Schutzmaßnahmen in allen Entwicklungsstadien. Das bedeutet, dass neben der Bereitstellung von Tools, die es Entwicklern ermöglichen, Modelle verantwortungsvoll umzusetzen, besonderes Augenmerk auf Trainings- und Abstimmungsprozesse gelegt wird.

Dieser Ansatz stärkt nicht nur die Bemühungen um verantwortungsvolle KI, sondern spiegelt auch die Vision der offenen Innovation wider und ermöglicht es Entwicklern, ihre Produkte sicher anzupassen, um ihren Benutzern zu helfen. Meta hat auch das Leitfaden zur verantwortungsvollen Nutzung, eine wichtige Quelle für Entwickler, die Richtlinien für Bauprodukte bereitstellt.

Wie wir bei der Veröffentlichung von Llama 2 erklärt haben, ist es wichtig, bei der Gestaltung dieser Maßnahmen bewusst vorzugehen, da es einige gibt, die nur vom Modellanbieter effektiv implementiert werden können, und andere, die nur effektiv funktionieren, wenn sie vom Entwickler als Teil ihrer spezifischen Implementierung implementiert werden Anwendung.

Stärkt das Unternehmen

Seit der Einführung von Meta AI im letzten Jahr hat die Marke das Erlebnis in mehreren Bereichen kontinuierlich verbessert:

• Die Antworten von Meta AI auf politische und soziale Themen wurden verfeinert und enthalten spezifische Richtlinien für diese Themen. Das Ziel besteht darin, eine Vielzahl relevanter Standpunkte zu einem Thema anzubieten und gleichzeitig die Absichten des Benutzers zu respektieren, wenn er spezifische Fragen stellt.
• Fügen Sie spezifische Anweisungen und Antworten hinzu, um es nützlicher zu machen, und nutzen Sie Belohnungsmodelle, um Ihr Verhalten zu steuern.
• Die Leistung von Meta AI wird in Benchmarks und durch Tests mit menschlichen Experten bewertet, um alle in einem laufenden Prozess identifizierten Probleme zu beheben.
• Schutzmaßnahmen auf Anforderungs- und Antwortebene, einschließlich Filter und Klassifikatoren, um sicherzustellen, dass Interaktionen richtlinienkonform und sicher sind.
• Feedback-Tools für Benutzer zum Austausch ihrer Erfahrungen, die es uns ermöglichen, die Leistung von Meta AI kontinuierlich zu verbessern.

Und Sie, was halten Sie von den Nachrichten? Wir können es kaum erwarten, nach Brasilien zu kommen, nicht wahr? Sagen Sie uns, was Sie in uns gefunden haben Kommentar!

Siehe auch:

Google Fotos kostenlos kostenlose KI-Bildbearbeitung für alle Benutzer.

Mit Informationen von: Ziel [1], [2]. e [3]..

Rezensiert von Glaukon Vital in 18 / 4 / 24.