Physical AI met Raspberry Pi: van sensoren tot computervisie

Wat gebeurt er als een Raspberry Pi meer kan doen dan alleen data verwerken? Met de Physical AI met Raspberry Pi bundel sluit u camera's, sensoren, motoren, een microfoon en een luidspreker aan en zet u ze aan het werk in projecten die variëren van hardwareaansturing tot objecttracking en spraakinteractie.

Een Raspberry Pi, een camera en een paar sensoren vormen samen al een krachtig projectplatform. Voeg daar motoren, audio, computer vision en objectherkenning aan toe, en het geheel wordt een stuk interessanter.

Dit is het idee achter Elektors Physical AI met Raspberry Pi bundel, die Dogan Ibrahims Physical AI with Raspberry Pi combineert met de SunFounder AI Fusion Lab Kit. Het boek levert de projecten en uitleg, terwijl de kit de benodigde hardware bevat om ze te bouwen.
 

Begin met de elektronica

Het boek begint met vertrouwde elektronica voordat het verder gaat naar meer geavanceerde Raspberry Pi AI-projecten. Lezers werken met leds, knoppen, relais, buzzer, sensoren, displays en motoren, en leren onderweg GPIO-aansturing, PWM, analoog-naar-digitaalconversie en sensorinterfacing.

De projecten omvatten afstands- en temperatuurmetingen, motoraansturing, alarmen en omgevingssensing. Deze vormen de hardwarefundamenten voor de spraak- en beeldprojecten die volgen.

Camera, spraak en beweging toevoegen

De Fusion HAT+ voegt motoraansturing, ADC- en PWM-kanalen toe, samen met een ingebouwde microfoon en luidspreker. De kit bevat ook een camera en een tweeassig pan-tilt-mechanisme, waardoor software en fysieke beweging gecombineerd kunnen worden.
 

Het boek behandelt het maken van foto's en video, cameravoorbeelden en bediening op afstand, voordat het overgaat op computer vision. Aan de audiokant omvatten de projecten tekst-naar-spraak, spraakherkenning, een sprekende klok en spraakgestuurde hardware.

Er zijn ook projecten die gebruikmaken van onlinediensten en van Ollama-modellen die lokaal draaien op geschikte Raspberry Pi hardware.

Van computer vision naar objectdetectie

De latere hoofdstukken gaan dieper in op OpenCV en MediaPipe. Lezers experimenteren met randdetectie, gezichtsdetectie, handtracking en objectdetectie.

Een visueel bijzonder project maakt van de vingertop van de gebruiker een virtuele tekenstift. MediaPipe volgt de wijsvingertop en OpenCV zet de beweging om in lijnen die op het scherm worden getekend.
 

Het laatste hoofdstuk introduceert YOLO-objectdetectie. De Raspberry Pi-camera kan objecten in realtime herkennen, begrenzingsvakken en betrouwbaarheidswaarden weergeven, en zelfs het pan-tilt-mechanisme gebruiken om een geselecteerd doel te volgen.

Lezers kunnen een stap verder gaan door een eigen YOLO-model te trainen voor objecten die relevant zijn voor hun eigen toepassing. Het voorbeeld in het boek traint een model om een beker te herkennen, met als eindresultaat dat de Raspberry Pi deze identificeert met een betrouwbaarheidsniveau van 0,9.
 

Van knipperende led tot objecttracking

De stapsgewijze opbouw is wat Physical AI with Raspberry Pi interessant maakt. U kunt beginnen met basale elektronica en geleidelijk verder gaan via sensoren, motoren, spraak en camera's, tot u uitkomt bij realtime objectdetectie en -tracking.

De projecten zijn ook bedoeld als startpunten in plaats van vaste oefeningen. Lezers worden aangemoedigd om parameters aan te passen, ideeën te combineren en op basis van de behandelde technieken hun eigen toepassingen te ontwikkelen.

Voor wie het liefst leert door iets aan te sluiten, de code uit te voeren en te zien wat er op de werkbank gebeurt, biedt de Physical AI met Raspberry Pi bundle volop mogelijkheden om mee te experimenteren.