Lernstübchen Muster übertragen

Die Lernbereitschaft befasst sich mit der Vorbereitung, die den Lernenden vor der Teilnahme an einer Lernaktivität gegeben wird. Während Dinge wie Dies sind, sind die Erforderlichen fähigkeiten und pre-work wichtig, die Forschung hat sich auf Aktivitäten konzentriert, die den Lernenden psychologisch und emotional auf das Lernen vorbereiten. Insgesamt legt die Forschung nahe, dass die Ansprache der Lernbereitschaft die Effektivität des Lerntransfers um bis zu 70 % steigern kann. Vortrainierte Modelle werden auf zwei beliebte Arten beim Erstellen neuer Modelle oder deren Wiederverwendung verwendet: Wir sehen, dass unser Codierungsschema den Katzenetiketten die Zahl 0 und den Hundeetiketten 1 zuweist. Wir sind nun bereit, unser erstes CNN-basiertes Deep-Learning-Modell zu entwickeln. Auf der anderen Seite sind diese erfolgreichen Modelle immens datenhungrig und verlassen sich auf riesige Mengen an markierten Daten, um ihre Leistung zu erreichen. Für einige Aufgaben und Bereiche stehen diese Daten zur Verfügung, da sie über viele Jahre sorgfältig gesammelt wurden. In einigen Fällen ist es öffentlich, z.B. ImageNet [5], aber große Mengen beschrifteter Daten sind in der Regel proprietär oder teuer zu erhalten, wie im Falle vieler Sprach- oder MT-Datensätze, da sie einen Vorteil gegenüber der Konkurrenz bieten.

Lassen Sie uns dies mit zwei gemeinsamen Beispielen für Transferlernen mit Deep Learning-Modellen konkretisieren. Wir beginnen mit dem Aufbau eines grundlegenden CNN-Modells mit drei faltigen Layern, gekoppelt mit max Pooling für die automatische Extraktion von Features aus unseren Bildern und auch Downsampling der Ausgabe-Faltung feature-Karten. Es sieht so aus, als ob unser Modell eine Art Überanpassung ist, basierend auf den Trainings- und Validierungsgenauigkeitswerten. Wir können unsere Modellgenauigkeit und Fehler mithilfe des folgenden Ausschnitts darstellen, um eine bessere Perspektive zu erhalten. Transfer-Learning ist eine maschinelle Lernmethode, bei der ein für eine Aufgabe entwickeltes Modell als Ausgangspunkt für ein Modell für eine zweite Aufgabe wiederverwendet wird. Sie können die Ober-/Unterseite eines vortrainierten Modells abschneiden, neue Layer hinzufügen und dann die neuen Layer des Modells auf dem neuen Dataset trainieren. Basierend auf den roten und rosa Balken in der obigen Abbildung können Sie deutlich sehen, dass die Funktionen der vortrainierten Modelle konsequent sehr spezialisierte aufgabenorientierte Deep Learning-Modelle übertreffen. Lassen Sie uns unser CNN-Basismodell verbessern, indem wir eine weitere Faltungsschicht, eine weitere dichte verborgene Schicht hinzufügen. Außerdem fügen wir nach jeder versteckten dichten Schicht einen Dropout von 0,3 hinzu, um eine Regularisierung zu ermöglichen. Grundsätzlich ist Dropout eine leistungsfähige Methode der Regularisierung in tiefen neuronalen Netzen.

Es kann separat auf Eingabe-Layer und die ausgeblendeten Ebenen angewendet werden. Dropout maskiert nach dem Zufallsprinzip die Ausgänge eines Bruchteils von Einheiten aus einer Ebene, indem die Ausgabe auf Null gesetzt wird (in unserem Fall sind es 30 % der Einheiten in unseren dichten Schichten). Eine andere Möglichkeit, die Ähnlichkeit zwischen den Darstellungen beider Domänen zu gewährleisten, die in letzter Zeit populärer geworden ist, besteht darin, einem bestehenden Modell ein weiteres Ziel hinzuzufügen, das es ermutigt, die beiden Domänen zu verwirren [29], [30]. Dieser Verlust von Domänenverwirrung ist ein regelmäßiger Klassifizierungsverlust, bei dem das Modell versucht, die Domäne des Eingabebeispiels vorherzusagen. Der Unterschied zu einem regelmäßigen Verlust besteht jedoch darin, dass Gradienten, die vom Verlust zum Rest des Netzwerks fließen, umgekehrt werden, wie abbildung 17 zu sehen ist. In ähnlicher Weise kann ein ausgezeichnetes vortrainiertes Modell für uns ein Vielseitiges Werkzeug sein, da es helfen kann, viele andere Dinge zu erreichen, und daher ist Transfer-Lernen ein entscheidendes Konzept mit fortschrittlichen prädiktiven neuronalen Netzalgorithmen. > Ein weiterer wichtiger Aspekt ist, dass es in der realen Welt so schwierig ist, für jede Aufgabe einen riesigen Satz beschrifteter Daten zu sammeln, wie unsere Freundin beim Einkaufen zu begleiten. Aber was ist, wenn wir erfahren, dass das BFF unserer Freundin (vortrainiertes Modell) auch in der Stadt ist? Würden wir es nicht lieber, beide für diesen Einkaufsbummel einzurichten (Ausbildung des neuen Modells für eine andere Aufgabe), während wir Liverpool genießen, Chelsea mit etwas Bier und Pizza zu nehmen? Obwohl es einige Spitzen in der Validierungsgenauigkeit und Verlust, insgesamt, sehen wir, dass es viel näher an der Trainingsgenauigkeit ist, mit dem Verlust, der darauf hindeutet, dass wir ein Modell erhalten, das viel besser im Vergleich zu unseren vorherigen Modellen verallgemeinert.