Raspberry Pi AI HAT+ 2 biedt 8 GB RAM voor LLM/VLM-werk op de Pi 5

De Raspberry Pi AI HAT+ 2 is de nieuwste PCIe-uitbreiding voor de Raspberry Pi 5. De grootste verandering is het extra 8 GB LPDDR4X geheugen op de print, direct naast een Hailo-10H versneller. Hierdoor is meer werkgeheugen van het model dichtbij de NPU, in plaats van dat het via een dun rietje uit het systeemgeheugen moet worden gelezen.
 

Wat is nieuw

De eerdere Raspberry Pi Hailo-uitbreidingen voor de Pi 5 waren vooral gericht op vision: objectherkenning, segmentatie, pose-estimation en andere cameratoepassingen. De AI HAT+ 2 blijft een ‘aanklikbare NPU’, maar de kracht zit in het extra geheugen waardoor modellen die veel geheugen vragen nu ook mogelijk zijn.

Raspberry Pi AI HAT+ 2 specificaties

Een PCIe AI/ML versnellermodule voor Raspberry Pi 5, bedoeld om vision modellen en geselecteerde LLM en VLM taken te versnellen.

Belangrijkste specificaties

• Hailo-10H neuraal netwerk versneller
• 8 GB LPDDR4X-4267 SDRAM op het board
• PCI Express-aansluiting; alleen voor Raspberry Pi 5
• Vision prestaties vergelijkbaar met de 26 TOPS AI HAT+
• Versnelt sommige LLM’s en VLM’s

LLM/VLM ondersteuning bij de lancering

• Llama-3.2-3B-Instruct
• Qwen2.5-VL-3B

Fysiek

• Afmetingen: 56,7 mm (B) × 65,1 mm (L) × 5,5 mm (H)
• Gewicht: 19 g (print) / 48 g (doos met accessoires)

Hoewel de specificaties er op papier goed uitzien, moeten een paar details nog worden bevestigd. Het geheugen wordt opgegeven als “LPDDR4X-4267 SDRAM”, maar Hailo noemt voor de 10H in de documentatie alleen “4 | 8 GB LPDDR4/4X” zonder snelheidsaanduiding. Als 4267 MT/s klopt, is dat een prima keuze voor geheugen-intensieve GenAI-taken, maar wacht op officiële bevestiging.
 

Ook de claim dat de vision prestaties gelijk aan de 26 TOPS AI HAT+ zijn, is lastig te checken. De Hailo-8 in de oude HAT+ is geoptimaliseerd voor vision, terwijl de 10H iets inlevert op dat vlak in ruil voor meer GenAI mogelijkheden. De chips hebben een andere architectuur, dus een TOPS-vergelijking zegt niet alles.

Dan is er de PCIe-bandbreedte. De Raspberry Pi 5 heeft een enkele PCIe 2.0 lane, goed voor zo’n 500 MB/s *. De Hailo-10H module is ontworpen voor PCIe Gen 3.0 ×4 (theoretisch 4 GB/s). Dat is een achtvoudig verschil. Voor lichte taken of modellen die helemaal in het RAM van de 10H passen, merkt u er niets van. Maar als er veel data moet worden uitgewisseld tussen de Pi en accelerator kan dat vertragen. Nu is het extra geheugen juist toegevoegd om dat verkeer te beperken en de praktijk hangt dus af van de modellen en hoe ze gebruikt worden.
* Met aangepaste instellingen is Gen 3 ×1 (~1 GB/s) mogelijk op de externe connector, maar dat is niet officieel gecertificeerd.

Het ontwerp sluit aan bij hoe Hailo de Hailo-10H ziet als een generatieve AI-edge versneller met directe DDR-interface dat grotere modellen (LLM’s en VLM’s) versneld als geheugentoegang de bottleneck is; zie de Hailo-productpagina.

Hoe de AI HAT+ 2 past in het PCIe-ecosysteem van de Pi 5

Als u de bestaande AI HAT+ (13 TOPS en 26 TOPS) als uitgangspunt neemt, blijft die de simpelste optie voor vision op de Pi 5. De productpagina van Raspberry Pi noemt de AI HAT+ een Hailo toevoeging voor meerdere AI taken tegelijk. Voor pure camera-toepassingen is het nog steeds de eerste keuze.

Voor de AI HAT+ de standaard werd, bood Raspberry Pi de AI Kit aan: de M.2 HAT+ samen met een Hailo-8L module. Dat is nog steeds een nette manier om Hailo-versnelling toe te voegen, en veel lezers hebben deze combinatie al. (Meer hierover in dit artikel.)
 

En dan is er de ‘plumbing’-optie: de M.2 HAT+ zelf, die de PCIe 2.0-lane van de Pi 5 omzet naar een M.2-slot. In de praktijk is dat óf een NVMe SSD óf een versnellermodule, allebei tegelijk lukt meestal niet. Meer hierover kunt u vinden in de M.2 HAT+ aankondiging.

AI HAT+ 2 modellen: LLM’s, VLM’s en Whisper

De AI HAT+ 2 bewijst zijn kwaliteiten vooral bij bepaalde geselecteerde generatieve en multimodale AI-taken. Dus: niet alleen méér bounding boxes per seconde, maar ook een kleine set LLM- en VLM-modellen praktisch mogelijk maken op een Pi dankzij het aparte geheugen op de versneller.

De eerste modellen zijn onder meer compacte instruct modellen en VLM’s zoals Llama-3.2-3B-Instruct en Qwen2.5-VL-3B, plus spraaktoepassingen als Whisper (bijvoorbeeld Whisper-Base staat in de Hailo GenAI Model Explorer). Partners wijzen ook op compacte redeneringsmodellen. DeepSeek-R1-Distill-Qwen-1.5B wordt bijv. genoemd voor de Hailo-10H.

Kortom: de AI HAT+ 2 is niet ter vervanging van de 26 TOPS AI HAT+ voor klassieke vision, maar biedt meer mogelijkheden voor Raspberry Pi 5 + accelerator.

Conclusie

Heeft u al een 26 TOPS AI HAT+ en draait u voornamelijk camera/vision toepassingen, dan hoeft u niet direct over te stappen op de Raspberry Pi AI HAT+ 2. De belangrijkste reden om toch te upgraden is het extra geheugen voor de versneller dat bepaalde LLM-, VLM- en Whisper-taken mogelijk maakt op de Raspberry Pi 5.