Raspberry Pi AI HAT+ 2: Bau dir deine eigene KI mit 40 TOPS & 8GB RAM
Ich liebe Einplatinenrechner, allen voran natürlich die kleinen Raspis, von denen die Generationen 3 und 4 bei mir in der Wohnung und im Keller herumfliegen. Dummerweise habe ich noch keinen Raspberry Pi 5. Den brauche ich aber, um mir das brandneue Add-on „Raspberry Pi AI HAT+ 2“ zu holen – denn damit kann ich KI-Modelle lokal auf dem Raspi laufen lassen. Schauen wir uns einmal an, was das Add-on drauf hat und warum wir dafür erst einmal ein paar Fachbegriffe klären müssen.
- Raspberry Pi AI HAT+ 2 (Voraussetzung: Raspberry Pi 5):
- Raspberry Pi 5 (4GB-Version):
- bei Galaxus für 77,33€
- bei Voelkner für 82,54€
- bei AliExpress für 89,99€ – Gutschein: GADGETSJ07 (4GB-Version)
Inhalt
Technische Daten im Vergleich
| Feature | Raspberry Pi AI HAT+ (V1) | Raspberry Pi AI HAT+ 2 (Neu) |
|---|---|---|
| Chip | Hailo-8L | Hailo-10H |
| Leistung | 26 TOPS (INT8) | 40 TOPS (INT4) |
| Speicher | Kein dedizierter RAM (nutzt System) | 8 GB LPDDR4X On-Board |
| Haupt-Einsatz | Bilderkennung (Object Detection) | Generative AI (Llama, Whisper, VLMs) |
| Preis | ca. 80€ | ca. 140€ |
| Produktionsgarantie | bis Jan. 2032 | bis Jan. 2036 |
Hailo, TOPS & INT4: Was bedeutet das?
Bevor wir die Platine aufschrauben, müssen wir kurz die Schulbank drücken, denn die Specs klingen beeindruckend, sind aber erklärungsbedürftig. Auf der Platine sitzt ein Hailo-10H Chip. Hailo ist ein israelischer Chiphersteller, der sich auf KI-Prozessoren für Endgeräte spezialisiert hat – also Chips, die KI direkt vor Ort berechnen, statt Daten in eine Cloud zu senden.
Die Leistung wird mit 40 TOPS angegeben. TOPS steht für „Tera Operations Per Second“, also Billionen von Rechenschritten pro Sekunde. Zum Vergleich: Das ist ein Wert, mit dem sich aktuelle NPU-Einheiten in modernen Intel- oder AMD-Laptop-Prozessoren messen.
Aber Vorsicht: Die Angabe bezieht sich auf INT4. Das bedeutet, der Chip rechnet mit einer 4-Bit-Integer-Präzision. Das ist ungenauer als die im PC-Bereich oft üblichen FP16 (Floating Point 16-Bit) oder INT8, reicht aber für das Ausführen (Inferenz) von fertig trainierten KI-Modellen meist völlig aus und ist dabei extrem effizient.
Der eigentliche Gamechanger ist aber der Speicher: Der AI HAT+ 2 bringt 8 GB dedizierten LPDDR4X-RAM mit. Das bedeutet, eure KI-Modelle fressen nicht den Arbeitsspeicher eures Raspberry Pi auf, sondern laufen isoliert im Speicher des Add-ons. Das sorgt für geringere Latenzen und entlastet das Hauptsystem massiv.
Wofür brauche ich das? Llama 3.2, Whisper & LoRA
Mit dem Vorgängermodell (AI HAT+ mit 26 TOPS) konnte man schon prima Objekte in Kamera-Streams erkennen. Das neue 40 TOPS Modell zielt aber auf Generative KI und Large Language Models (LLMs). Und hier wird es jetzt konkret, denn zum Marktstart werden bereits prominente Modelle unterstützt:
- Llama 3.2 3B Instruct: Metas aktuelles, kompaktes Sprachmodell läuft hier lokal. Damit baut ihr euch einen eigenen Chatbot, der ohne Internetverbindung antwortet.
- ASR Whisper Base: Das bekannte Modell von OpenAI zur Spracherkennung. Ideal, um Gesprochenes in Text umzuwandeln – die Basis für eine echte, lokale Sprachsteuerung im Smart Home.
- QWEN 2.5 VL 3B: Ein „Vision Language Model“. Das bedeutet, die KI kann Bilder sehen und verstehen.
Besonders spannend für Fortgeschrittene: Ihr seid nicht auf vorgekaute Modelle beschränkt. Dank Unterstützung für LoRA (Low-Rank Adaptation) könnt ihr generativen Modellen den „Feinschliff“ verpassen und sie auf eure eigenen Daten nachtrainieren.
Installation: Passt der Active Cooler?
Die Installation ist Raspi-typisch: Das HAT (Hardware Attached on Top) wird auf den Raspberry Pi 5 geschraubt und verbindet sich über die GPIO-Leiste sowie – und das ist entscheidend – über das flache PCIe-Kabel. Da nur der Raspberry Pi 5 diesen PCIe-Anschluss besitzt, schauen Besitzer eines Pi 4 (wie ich) leider in die Röhre.
Softwareseitig macht es uns die Raspberry Pi Foundation leicht: Das aktuelle Raspberry Pi OS erkennt den Hailo-Chip automatisch. Die Kamera-Software ist bereits integriert, sodass Bildverarbeitungsaufgaben direkt an die NPU ausgelagert werden.
Ein wichtiges Hardware-Detail: Im Lieferumfang ist ein 16mm Stacking Header enthalten. Damit sitzt die Platine hoch genug, um den offiziellen Raspberry Pi Active Cooler darunter montiert zu lassen. Ein eigener Kühlkörper für den Hailo-Chip liegt ebenfalls bei.
Einschätzung: Teurer Spaß oder mächtiges Werkzeug?
Mit rund 140 Euro kostet das Add-on mehr als der Raspberry Pi 5 selbst. Das ist schon ein wenig happig. Für den einfachen Bastler, der nur eine LED blinken lassen will, ist das natürlich Overkill. Für Datenschutz-Liebhaber im Smart Home Bereich, die KIs lokal laufen und feintunen wollen, ist das Board aber ein (teures) Träumchen. Die Möglichkeit, Modelle wie Llama 3.2 oder Whisper rein lokal und mit eigenem Arbeitsspeicher auszuführen, macht den Raspi quasi zu einer KI-Workstation im Kreditkartenformat. Ich muss mir wohl doch endlich einen Pi 5 bestellen…
Seid ihr schon im „Local AI“ Thema drin oder nutzt ihr lieber ChatGPT in der Cloud?
Quelle(n):
Hier geht's zum GadgetWenn du über einen Link auf dieser Seite ein Produkt kaufst, erhalten wir oftmals eine kleine Provision als Vergütung. Für dich entstehen dabei keinerlei Mehrkosten und dir bleibt frei wo du bestellst. Diese Provisionen haben in keinem Fall Auswirkung auf unsere Beiträge. Zu den Partnerprogrammen und Partnerschaften gehört unter anderem eBay und das Amazon PartnerNet. Als Amazon-Partner verdienen wir an qualifizierten Verkäufen.
Sortierung: Neueste | Älteste
Kommentare (1)