Przyjaciel opowiadający historyjki za pomocą AI

Świetny sposób na wykorzystanie wiedzy dzieci na temat narracji i rozwoju postaci do wsparcia nowej wiedzy o AI.

Krok 1: Zrozumieć to

Jak to działa?

W tym projekcie wytrenujesz model uczenia maszynowego (ML), aby rozpoznawać różne sposoby poruszania przez Ciebie zabawką z dołączonym do niej micro:bitem. Wybieraj ruchy, które pomogą Ci opowiedzieć historyjkę na nowo.

Następnie połączysz model nauczania maszynowego z programem Microsoft MakeCode, a micro:bit będzie odtwarzał dźwięki lub pokazywał obrazy po wykryciu tych ruchów.

Czym jest uczenie maszynowe?

Uczenie maszynowe (ML) jest rodzajem sztucznej inteligencji (AI), w której bazując na danych komputery uczą się i podejmują decyzje.

Modele ML są trenowane przez ludzi, aby pomóc im w podejmowaniu takich decyzji, na przykład, aby rozpoznać różne "akcje", gdy poruszasz swój micro:bit na różne sposoby.

Co będę musiał zrobić?

Systemy AI potrzebują ludzi do projektowania, budowania, testowania i korzystania z nich.

Po pierwsze, musisz zdecydować, czy chcesz skorzystać z dostarczonych przez nas ruchów, lub wybierz inne ruchy, które działają dla twojej opowieści. Nasza historyjka jest o niedźwiedziu zwany Lucy, który chce być gimnastykiem, więc wybraliśmy ruchy pasujące do tego motywu: skakanie, turlanie się i spanie.

Następnie zbierzesz dane do wytrenowania modelu ML, przetestowania, ulepszenia go i połączenia z kodem komputerowym, aby stworzyć urządzenie opowiadające historyjki wykorzystujące AI za pomocą micro:bita i strony micro:bit CreateAI.

Wprowadziliśmy również pewne pytania oceniające, aby porównać ten projekt AI z projektem, który używa tylko zwykłych algorytmów i kodu.

Krok 2: Utwórz

Czego potrzebujesz

• micro:bit V2, kabel transmisji danych USB, pakiet baterii z 2 x baterie AAA
• Komputer (np. desktop, laptopa lub Chromebook) z dostępem do strony micro:bit CreateAI, za pomocą przeglądarki Chrome lub Edge
• Jeśli twój komputer nie ma włączonego Bluetooth, potrzebujesz dodatkowego micro:bita V2
• Pluszowa zabawka oraz taśma i uchwyt, lub inny sposób na przymocowanie micro:bita do zabawki (np. rzremieślnicze tasiemki lub gumki)
• Mogą okazać się również użyteczne nasze porady dla nauczania z micro:bit CreateAI

Zbierz próbki danych

Gdy otworzysz projekt w micro:bit CreateAI, zobaczysz, że daliśmy Ci próbki danych dla niektórych sugerowanych ruchów Twojej pluszowej zabawki (skakanie, turlanie się i spanie):

Możesz dodać własne próbki ruchów swojej pluszowej zabawki za pomocą czujnika ruchu micro:bita, jego akcelerometru.

In micro:bit CreateAI, click the ‘Connect’ button to connect your data collection micro:bit and follow the instructions.

Attach the data collection micro:bit to your soft toy. It’s important that all the samples are recorded with the same placement of the micro:bit on the soft toy. If you want to use the ready-made samples in the project, attach the micro:bit around the neck of the soft toy facing forward, as shown in the picture below. If you want to change how the toy wears the micro:bit, replace all the provided data samples with your own.

Add your own movement data samples for jumping, rolling and sleeping. Click on each action in turn, then click ‘record’ to take a short sample of each.

Jeśli popełnisz błąd, możesz usunąć dowolne próbki, których nie chcesz. Możesz również nacisnąć przycisk B na micro:bicie, aby rozpocząć nagrywanie.

Examine the data samples: do all the ‘jumping’ samples look similar? Do all the ‘rolling’ samples look different to ‘jumping’ and ‘sleeping’?

Trenuj i testuj model

Kliknij przycisk „Trenuj model”, aby trenować model, a następnie przetestować go.

Bounce your soft toy up and down to see if ‘jumping’ is shown as the estimated action. Put the soft toy down to sleep and see if ‘sleeping’ is estimated. Test if ‘rolling’ is detected when you turn the soft toy head over heels.

Ask someone else to move the toy and see if it works as well for them.

Ulepsz swój model

Większość modeli można ulepszyć dzięki większej liczbie danych. Jeśli model wymaga ulepszenia, aby rozpoznać Twoje działania, kliknij na "Edytuj próbki danych".

You can clean your data set by deleting any samples which you think don’t fit (because they look completely different from other samples for the same action). Możesz również ulepszyć model, dodając więcej próbek od siebie i od innych osób.

Think about all the positions your soft toy might ‘sleep’ in, you’ll notice the x, y, and z lines change their order depending on the angle of the micro:bit.

Ponownie trenuj i testuj model.

Umieść model i kod na swoim micro:bicie

W micro:bit CreateAI kliknij "Edytuj w MakeCode", aby zobaczyć kod projektu w edytorze MakeCode.

Możesz zmodyfikować kod tak, jak w dowolnym projekcie micro:bit MakeCode lub po prostu wypróbować taki, jaki jest.

Podłącz micro:bit za pomocą kabla danych USB, kliknij przycisk „Pobierz” na ekranie MakeCode i postępuj zgodnie z instrukcjami, aby przenieść swój model AI i bloki kodu do micro:bita.

Unplug the micro:bit, attach a battery pack, position it on your soft toy and test it.

Jak działają bloki kodu

The 'on ML… start' blocks are triggered when the ML model decides your toy has started one of the actions it has been trained to detect. Different sounds play and different icons are shown on the micro:bit's LED display depending on the action it has estimated your soft toy is doing.

The 'on ML… stop' blocks are triggered when the ML model decides your toy has finished an action. Kod wewnątrz każdego bloku czyści wyświetlacz i zatrzymuje wszystkie dźwięki.

Dodatkowy blok, „na nieznany start ML”, czyści wyświetlacz, jeśli model nie jest pewien, jaką czynność wykonuje Twoja zabawka.

Ewaluacja

Porównaj ten projekt z projektem sensorycznej zabawki, który również wykorzystuje czujnik akcelerometru, aby reagować na różne ruchy, ale nie wykorzystuje uczenia maszynowego ani żadnego innego rodzaniu AI.

• Na jakie ruchy lub działania może reagować projekt sensorycznej zabawki?
• What is different about the kinds of actions the AI storytelling friend project can react to? Czy są one prostsze czy bardziej złożone?
• Jakimi innymi działaniami mógłbyś chcieć wytrenować model ML, aby rozpoznawał?
• Który projekt lepiej pomaga Ci opowiedzieć Twoją historyjkę?

Krok 3: Rozszerzenie

• Explore different movements with your AI storytelling friend, and change the actions to suit a well-known folk story or fairytale.
• Use the ‘show LEDs’ block in place of the ‘show icons’ block to customise the icons to match your story. You could plan your customised icons using the LED planning sheets.
• If you have a class mascot, use CreateAI to train the mascot to respond to movements that give feedback to students e.g. give praise or reward class points.