Streaming a HDMI-Source using Raspberry Pi 4B

Streaming a HDMI-Source using Raspberry Pi 4B

Lately I got my hands on a cool new project, utilizing a Cisco PrecisionHD TTC8-02 Telepresence camera (More to come…).
In this blog post I want to comapre two different methods to capture this camera, using a HDMI grabber, in 1080p30 (1920×1080 pixels with 30 FPS), using a Raspberry Pi 4B (2GB in my case).

Preparation

Before starting, I installed Pi OS (Bullseye) on my device.
I did all the following tests, using a WIFI-Connection on the Pi and OBS (media source) as a client. As the builting WiFi was not feasible enough in my case, I added an external WiFi-Stick.
This post will not cover installing OBS, a Wifi Driver or Pi OS etc.

To use the hardware acceleration for encoding, we have to add this line to /boot/config.txt:

dtoverlay=vc4-fkms-v3d

Why external WiFi?

Originally I wanted to use Dicaffeine to NDI-Stream the HDMI source using a cheap USB HDMI Grabber (Ref-Link) from Amazon.

I did not manage, to receive the vido on my PC. I always saw the source, but never received a frame. Even with a custom-compiled FFmpeg I got no success using NDI at all. Not even a 720p5 test video. On Ethernet, all worked fine.

This lead me to further diagnostics… In my environment, WiFi is a nighmare. Long story short, I did some download tests:

ConnectionMeasured speed
Builtin WiFi 2,4GHz300 kB/s
Builtin WiFi 5GHz0.5 – 1 MB/s
External ancient WiFi “g-Standard” dongle (2.4 GHz)3 MB/s
New external WiFi Dongle with external antenna160 MB/s

I think the results and my reasons to use an external adapter are quite clear. In my case, the driver had to be compiled manually and required setting arm_64bit=0 in config.txt. I am pretty sure it will also work with internal WiFi in cleaner air 😉

Test environment

I created a busy scene on my desk. Then I positioned the camera and did wire it directly with the USB grabber, which is connected to the Pi’s USB2 interface (The stick is only using USB2).

For the CSI module tests, I got my hands on this CSI-2 connected HDMI-grabber. For these tests, I removed the cable from the USB-Grabber and connected it to the CSI-Grabber.

All hardware configurations have been made before the tests, so the environment is identical on all tests. Both grabbers were always connected but the other inactive at the time of testing.

The Pi sits in a case (ref link) that is cooled by a small “Pi Fan”.

I installed gstreamer from the official repo using th following command. Please not, it installs quite everything…

apt -y install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-bad1.0-dev gstreamer1.0-plugins-ugly gstreamer1.0-tools gstreamer1.0-gl gstreamer1.0-gtk3

Installing the Grabbers

Installing the USB-Grabber is easy. Connect it -> works. It does not require any configuration or setup.

The CSI-Grabber is a bit more complicated:

First of all, update your system (apt update && apt -y full-upgrade), then enable the overlay by putting this line into /boot/config.txt:

dtoverlay=tc358743

This can be a second line, right below the previously added line.

Then we need to edit /boot/cmdline.txt and add cma=96M to the beginning, The whole line will start like this:

cma=96M console=tty1 root=PARTUUID=...

After a reboot, the device should be up and running.

Warning: In the following commands, I am always using /dev/video0 for the CSI and /dev/video1 for the USB-Grabber. Adapt the commands to your setup. If you only have one, it is likely /dev/video0

Setting up OBS

You can use any receiver software of course, but I an using OBS as this camera will be used for streaming later on. The media source must be set up like this (use your Pi’s IP address instead of 111.222.333.444):

The important settings are marked with red arrows.
Actually, I did not notice any difference without latency=0 but I read somewhere, this was an option to reduce buffering.

Running an SRT-Stream using the USB-Grabber

Now that OBS is set up, we can start the stream (or we could do this before OBS is up). The following command works pretty well for the USB-Grabber:

gst-launch-1.0 -vvv v4l2src device=/dev/video1 ! 'image/jpeg,colorimetry=2:4:5:1,width=1920,height=1080,framerate=30/1' ! jpegparse ! v4l2jpegdec ! v4l2convert ! v4l2h264enc ! "video/x-h264,profile=main,preset=veryfast,framerate=30/1,level=(string)4,tune=zerolatency" ! mpegtsmux ! srtsink uri=srt://:8888

Using this command, the delay (cam to OBS) is about 1 second in my environment. The color quality is good and the framerate is consistent after a few minutes runtime.

This command lowers the delay to about 0.8 seconds by using the basline profile but the color quality is much worse (see the comparison below). CPU-Usage and framerate are widely identical:

gst-launch-1.0 -vvv v4l2src device=/dev/video1 ! 'image/jpeg,colorimetry=2:4:5:1,width=1920,height=1080,framerate=30/1' ! jpegparse ! v4l2jpegdec ! v4l2convert ! v4l2h264enc ! "video/x-h264,profile=baseline,framerate=30/1,level=(string)4,tune=zerolatency" ! mpegtsmux ! srtsink uri=srt://:8888

The same, using the CSI-Module

Then I did the same expriment, using the CSI module (ref link) C790 from Geekvideo. Here we need some more setup before we are able to stream.
Unfortunately this need to be done after each reboot, else GStreamer will not start. Again: this is not a tutorial but a technical experiment and report, so maybe I will come up with a solution later.

Step 1: Create an EDID file

Create a file, called edid.txt, containing the following – copy exactly!

00ffffffffffff005262888800888888
1c150103800000780aEE91A3544C9926
0F505400000001010101010101010101
01010101010100000000000000000000
00000000000000000000000000000000
00000000000000000000000000000000
00000000000000000000000000000000
0000000000000000000000000000002f
0203144041a22309070766030c003000
80E3007F000000000000000000000000
00000000000000000000000000000000
00000000000000000000000000000000
00000000000000000000000000000000
00000000000000000000000000000000
00000000000000000000000000000000
00000000000000000000000000000003

Source: https://forums.raspberrypi.com/viewtopic.php?t=315247#p1885669

This file controls the capabilities, the adapter advertises on HDMI to the source device. This specific variant locks it to 1920x1080p30. The file can of course be re-used for later reboots.

Step 2: Apply EDID-Info and configure Video4Linux driver

First, apply the EDID-File to the device using

v4l2-ctl --set-edid=file=edid.txt -d /dev/video0

Next, we configure Video4Linux to the correct timings:

v4l2-ctl --set-dv-bt-timings query -d /dev/video0

Step 3: Run GStreamer

gst-launch-1.0 v4l2src device=/dev/video0 ! 'video/x-raw,framerate=30/1,format=UYVY' ! v4l2h264enc ! 'video/x-h264,profile=main,preset=veryfast,level=(string)4,tune=zerolatency' ! mpegtsmux ! srtsink uri=srt://:8888

This variant caused slightly higher system load than the “bad color” USB variant, causing a lower delay of only 0.4 – 0.6 seconds

Image comparison

I created a side by side comparison image using the two grabbers. From top to bottom:

USB with baseline profile / USB with main profile / CSI with main profile

Regarding load: A second try caused much lower CPU-Usage on Test 2, so maybe the CPU-Usage is not accurate.

As you can see, the USB-Main variant has the best image quality, directly followed by the CSI-Variant. I think this could possibly be tuned further but as we’re using the same encoding settings, I fear that it comes largely from the chip.
Regarding load, the CSI-Approach is the clear winner when relating quality with load.

The next day… RGB!

A day later, I remebered that I read somewhere, this CSI-Thing would be capable of UYVY as well as RGB. So I gave this another shot. Here is the commandline:

gst-launch-1.0 v4l2src device=/dev/video0 ! 'video/x-raw,framerate=30/1,format=RGB,colorimetry=sRGB' ! capssetter caps="video/x-raw,format=BGR" ! v4l2h264enc ! 'video/x-h264,profile=main,preset=veryfast,level=(string)4,tune=zerolatency' ! mpegtsmux ! srtsink uri=srt://:8888

And this is the result comparison. Delay is identical to the UYVY variant, system load is slightly higher. I think the colors are a little better (bottom is RGB, top is UYVY)…

…but compared to the USB-Grabber, the result is still worse – USB top, CSI bottom:

I also got knowledge about a new chip (Thank’s to pr3sk from JvPeek’s Discord), built into newer USB 3 grabbers. I just ordered one of these and will report in a seperate post, if those are maye “the solution” to everything 🙂

Interestingly, the CPU-Usage while grabbing from USB was much lower this time.. I got no idea why… Maybe the load comparison from yesterday was garbage…

End-Results

I can say that both approaches seem to work. It looks like the USB-Variant is a bit less stable (in a few tries, the stream freezed after a few seconds).

After all, I am not really sure how to proceed. The CSI-Variant is much more performant and never had an outage while testing. Regarding image quality the USB-Variant (with main profile) is clearly better.

I am not a gstreamer pro, so maybe someone has ideas on how to improve these pipelines? Feel free to comment!

Updates

  • August, 22: Added source declaration and further explaination to EDID-File
  • August, 22: Added section “The next day”
Erfahrungsbericht: Logitech “G” (Gaming) Series

Erfahrungsbericht: Logitech “G” (Gaming) Series

[German Article] Ich bin seit vielen Jahren zufriedener “Logitech-Kunde” und bin entsetzt, wie sich die Qualität der Produkte geändert hat. Wenn du wissen willst, was mir da “über die Leber gelaufen ist”, bist du hier richtig!

Eine Sache vorweg: Dies ist ein Erfahrungsbericht. Viele Dinge sind persönliche Vorliebe und meine Einstellung beziehungsweise Erwartungshaltung zu einem Gerät für das ich einen gewissen Preis zahle. Jeder mag gewisse Dinge anders sehen und das ist auch völlig richtig so.

For my english readers: Sorry. Sometimes I feel like writing things down and don’t want to translate everything on my own – like in this case. This article is a testimonial about my experience with current logitech hardware.

Es war einmal, vor langer langer Zeit… Bereits in meiner “Kindheit” hatte ich mit der G11, später dann der G15 Tastatur meine erste Logitech G-Series Tastatur. Die G15 besaß ich bis vor ca 4-5 Jahren noch. Zu diesem Zeitpunkt bin ich dann endlich mal – wegen der Abnutzung der G15 – wieder etwas moderner geworden und auf die G910 umgestiegen. Ich weiß nicht mehr, ob es Artemis oder Orion war.

Vor etwa einem halben Jahr ist mir etwas in die Tastatur getropft, und ich musste die Entf-Tastenkappe ausbauen. Dabei ist mir ein Stück von der Kappe abgebrochen (die Halterung) und diese hielt eben nicht mehr. Beim Versuch, die Cap festzukleben, wurde leider der Schalter in Mitleidenschaft gezogen und ich habe mich dann kurzerhand entschieden, die ganze Tastatur zu ersetzen. Ich habe noch nie etwas so bereut, wie meine G910 entsorgt zu haben. Du fragst warum?

Die “neue” Logitech G910

Das ist einfach: Ich habe mir eine neue G910 bestellt und angeschlossen. Sie lief und ich war happy. Die alte 910 habe ich – weil sie ja defekt war – entsorgt. Einige Tage später merkte ich, dass ich mich erstaunlich oft vertippe. “rr” oder “tt” kam häufig vor, genau wie das Fehlen derselben Buchstaben in Worten. Also habe ich einen Test gemacht:

Notepad auf und immer abwechselnd “R” und “Enter” angeschlagen. So sah das dann aus:

r
r
rr
r
r
r
r

r
rr
r
rr
r

Was zeigt uns das? Die R-Taste schlägt manchmal doppelt an und manchmal sogar gar nicht. Übrigens ist die Darstellung nicht übertrieben. Es war wirklich so häufig!

Defekt… Kann passieren!

Ich dachte mir, auch eine Logitech-Tastatur kann mal ein Montagsmodell sein. Ich kontaktierte den Onlineshop, in dem ich die Tastatur gekauft hatte und durfte die Tastatur zurückgeben. Zugegeben: Es war ein “gebraucht” Modell, da kann man jetzt drüber denken, was man will.

Ich erspare euch die Details: Ich habe diese Aktion mehrfach durchgeführt. Am Ende habe ich immer zwei bestellt, getestet, und wieder zurückgeschickt, bis ich eine hatte, die vermeintlich okay war. Vermeintlich!

Ihr könnt euch sicher denken, dass auch die letzten Endes “funktionierende” Tastatur nach einigen Wochen Anschlagsprobleme bekommen hat. Eine Suche bei Google bestätigt meinen Verdacht…

Ich bin nicht der einzige mit diesem Problem. Wühlt man sich durch die Foren, stellt man fest, dass das sehr häufig vorkommt. Manche haben Lösungen gefunden, wie die Tasten mit Alkohol zu spülen etc. Bei einer neuen Tastatur werde ich das aber sicher nicht machen. Ich brauche eine Tastatur, die Funktioniert und keine wartungsintensive Bastelbude.

Mein Fazit: Den Mist können sie behalten. Ich schickte die Logitech G910 also zurück und bestellt ein anderes Modell. Ich versuchte mich u.a. an der Logitech G213 Prodigy, die eine Rubberdome-Tastatur ist (keine Mech-Schalter, die kaputt gehen können): Witzig. Welcher Ingenieur dachte sich da wohl “Wir verbauen mal eine Spule, die fiept, wenn man die RGB-Beleuchtung der Tastatur auf halber Helligkeit einschaltet”? Die 10 Cent die da gespart wurden, waren es sicher wert… Übrigens findet sich das auch in den Produktbewertungen auf Amazon wieder.

Was ich selbst bei dem Modell nicht erlebt habe, aber in den Bewertungen tatsächlich auch öfter vorkommt: Einzelne Tasten schlagen nicht an… Scheint sich hier dann aber standesgemäß gleich auf ganze Regionen der Tasten zu belaufen. Also mutmaßlich Platinenfehler.

Wird die Logitech G815 meine neue Tastatur?

Ihr könnt’s euch denken (das kommt in diesem Bericht öfter mal vor): Die Logitech G213 ging natürlich zurück. Ich bestellte eine G815 – das neue Flaggschiff. Aber eben mit Kabel. Eine beeindruckende Tastatur! Ist vom Design mal was anderes als die ganzen Gaming-Spritzguss-Plastikteile. Fühlt sich hochwertig an und ist erstaunlich schwer.

Es ist eine Tastatur mit mechanischen Schaltern, aber nicht die Romer G Switches (welche die G910 hat), die für ihre Ausfälle bekannt sind. Super! Mit der Tatstatur lässt sich sehr angenehm tippen. Wären da nicht einzelne Tasten, die doppelt anschlagen… Und täglich grüßt das Murmeltier… Händler kontaktiert und ich bekomme Ersatz.

Die Ersatzlieferung folgt sogleich und ich nehme sie in Betrieb: Die “+”-Taste auf dem Numpad schlägt nur ganz selten mal an, wenn man nicht mit Gewalt drauf hämmert.

Ich geb’ dem Ganzen jetzt noch eine Chance, sonst wechsle ich den Tastentyp auf linear. Die scheinen das Problem nicht zu haben. (Ich habe eine G815 mit linearen Switches anderenorts im Einsatz, die stand hier auch eine Weile und wurde dann wegen des für mich angenehmeren Tastenanschlags durch die Taktile abgelöst)

Wie siehts mit der Maus aus?

Ich habe eingangs erwähnt, dass ich stolzer Nutzer einer G700s bin. Nach knapp 10 Jahren Nutzung (Kein Scherz! Gekauft 11/2013) funktioniert sie noch immer tadellos und ich will sie eigentlich nicht ersetzen, aber das Scrollrad löst sich langsam auf und mir stecken immer wieder kleine Splitter vom Lack des Scrollrads im Finger… Das ist glaube ich nicht ganz optimal so rein gesundheitlich.

Ich informiere mich also über aktuelle Modelle… G903 und G502 sehen vielversprechend aus. Die G903 wäre mein Favorit, aber das sagen die Bewertungen? Man glaubt es kaum… (Es folgen Auszüge aus den Bewertungen bei Amazon – Affiliate Link)

"For anyone looking to buy this mouse DO NOT BUY IT.
Like everyone else, after a few months of use my right click started to develop a double clicking issue, or just the right click never consistently detected it as clicked down."
"Super Ding außer dass die rechte Maustaste bisschen Faxxen macht"
"Linksklickfehler nach 4 Monaten Betrieb"
"Nach knapp einem Jahr wurde auch ich Opfer des Doppelklick-Fehlers,"

Darauf habe ich nun wirklich keine Lust… Also habe ich mit die G502 SE bestellt. Sieht cool aus, hat zwei Seitentasten, erlaubt das Scrollrad zu entkoppeln (nutze ich manchmal gerne beim browsen) und was ich persönlich sehr praktisch finde: Man kann mit einer Schultertaste einen Präzisionsmodus aktivieren. Das ist nicht nur beim Gaming genial… Man kann sowas durchaus auch beim arbeiten mit Unity gut nutzen.

Klingt gut (eigentlich nicht), aber naja…

Okay, die G502 ist in allen Varianten jeweils in ihrem Feld ein Mittelpreisiges Modell. Vielleicht bin ich zu anspruchsvoll, aber die Maus fühlt sich im Vergleich billig an… Die Haptik ist wie bei der Mäusen, die mit Office-PCs meist kostenlos mitgeliefert werden. Das geht gerade noch, aber das große Problem ist: Das Scrollrad… Das passt weder von der Optik, noch von der Haptik zum Rest der Maus. Auf den Bildern sieht sie toll aus, aber in echt könnte sie ein Rad von einem Kinderspielzeug-Bagger oder so sein. Da hätte ich mir lieber 5€ Aufpreis und dafür n ordentliches Scrollrad gewünscht. Etwas kleiner als die G700s ist die Maus auch, geht für mich aber gerade so.

Interessant ist auch das Klick-Geräusch. Die G700s hat ein sauberes “Klicken”. Kurz, knackig, hohe Tonlage. Die G502 SE hat einen tieferen Ton mit einem leichten Nachhall. Das sind alles zusammen so die Kleinigkeiten, die eine 100€-Maus eben 100€ Wert machen. Liebe zum Details und hohe Qualität bis zum Schluss. Die G502 SE ist zum Glück keine 100€-Maus.

Ich teste die Maus jetzt noch 1-2 Tage und überlege mir, bei meiner G700s das Scrollrad zu tauschen. Vielleicht macht sie ja nochmal 10 Jahre mit mir…

Fazit

Leider hat es kein anderer Hersteller geschafft, mich zu überzeugen. Roccat zum Beispiel macht auch schöne Tastaturen, aber warum muss mir die LED unter der Taste direkt ins Gesicht leuchten? Hätten 5mm “Mantel” um die Tasten um das zu verhindern geschadet? Ich habe mir in Läden und auch die ein oder andere hier vor Ort angesehen und ausprobiert und muss sagen… Entweder ist die Haptik richtig schlecht oder die Tasten zu klein, oft wird auch die linke Windows-Taste durch Fn ersetzt (das nervt mich tierisch)… Manche Modelle haben einen Druckpunkt, dass man denkt, man drückt ne Taste von einem Schaltschrank…

Aber so ne richtig gute Tastatur mit Hintergrundbeleuchtung hab ich nicht gefunden. Ja ich bin wählerisch, aber bei Kosten von oft deutlich über 100€ für eine Tastatur darf ich das wohl auch sein.

Mir brennt eine Frage unter den Nägeln: Was ist nur aus Logitech geworden? Ist das der neue Standard? Ich war früher begeistert aber was ich mit den aktuellen Modellen gesehen habe… Es macht mich traurig.

Welche Tastatur und Maus nutzt du und hast du ähnliche Erfahrungen gemacht? Ab in die Kommentare!

Bildquelle Titelbild: https://unsplash.com/de/fotos/HIbAmybJHVs