A látás elengedhetetlen azon robotikai alkalmazások a tervezéséhez, amelyek valós időben érzékelik a fizikai környezetet és ahhoz alkalmazkodnak. A robotikai rendszerek dinamikus, gyakran kiszámíthatatlan környezetben működnek, ahol az érzékelő-adatokat milliszekundumok alatt kell rögzíteni, továbbítani, feldolgozni és cselekvéssé alakítani. Bármilyen további késleltetés, adatvesztés vagy időzítési eltérés ronthatja a teljesítményt, sőt biztonsági kockázatot is jelenthet.
Ezek a korlátok egyre nagyobb kihívást jelentenek, mivel a robotrendszerek egyre inkább a gépi tanuláson alapuló érzékelés felé fordulnak, amely a feladatspecifikus programozás helyett hatalmas mennyiségű vizuális adatra támaszkodik. Ez biztosítja a robotalkalmazások alkalmazkodóképességét, lehetővé téve számukra, hogy minimális átprogramozással új tárgyakat, környezetet és feladatokat is felismerjenek.
Ezek a tendenciák egyre nagyobb nyomást gyakorolnak a vizuális adatok robotrendszereken belüli továbbítására. A Gigabit Multimedia Serial Link (GMSL) technológia segítséget nyújthat a tervezési kihívások megoldásában azáltal, hogy egyszerűsíti az érzékelők csatlakoztatását, csökkenti a kábelezés bonyolultságát, és alacsony késleltetésű, megbízható adatátvitelt tesz lehetővé az elosztott kamerák és a központi számítási modulok között.
A GMSL-t eredetileg olyan autóipari alkalmazásokhoz tervezték, mint a fejlett vezetőasszisztens rendszerek (ADAS), ma azonban széles körben használják a robotikában és a gépi látórendszerekben is, hogy távoli kamerákat és érzékelőket csatlakoztassanak alacsony késleltetéssel és kiváló elektromágneses interferencia-ellenállással.
Az Analog Devices, Inc. által kifejlesztett GMSL egy nagy sebességű soros-párhuzamos átalakító (SerDes) kommunikációs technológia, amely lehetővé teszi a nagy sávszélességű videó- és adatátvitelt egyetlen koaxiális vagy sodrott érpáros kábelen keresztül. Ahelyett, hogy megosztanák a hálózati struktúrát, minden kamera egy dedikált, nagy sebességű kapcsolaton keresztül működik, kiküszöbölve ezzel az ütközéseket, az útválasztást és a csomagalapú változékonyságot. Ez egy kiszámítható adatútvonalat hoz létre, ahol az időzítés és a késleltetés állandó marad, még akkor is, ha az érzékelők száma növekszik.
A GMSL szerializáló olyan pixeladat-csoportokat vesz át, amelyeket egyébként párhuzamosan továbbítanának több jelvezetéken keresztül, és azokat folyamatos, nagy sebességű soros adatfolyammá alakítja át. A processzor oldalán egy deszerializáló alakítja vissza az adatokat eredeti formátumukba. Mivel minden kamera saját pont-pont kapcsolattal rendelkezik, a sávszélesség lineárisan növekszik a kamerák számával, anélkül, hogy hálózati torlódások, kapcsolási terhelés vagy csomagütemezési késések lépnének fel.
Ennek a megközelítésnek az előnyei még inkább érvényesülnek, amikor a képfeldolgozó rendszerek több nagy felbontású kamerára bővülnek. Az egykamerás alkalmazásokkal ellentétben ezeknek a rendszereknek sűrű, szinkronizált képfelvételre van szükségük olyan feladatok támogatásához, mint a navigáció, a manipuláció és a valós idejű jelenetfelismerés. Az érzékelők számának növekedésével nő a sávszélességre, a kábelezésre és az időzítési pontosságra nehezedő terhelés is, ami rámutat a hagyományos, rövid hatótávolságú, áramköri szintű összeköttetések korlátaira.
A hagyományos megoldások – mint például az USB, a szabványos Ethernet vagy a közvetlen, áramköri szintű MIPI-kapcsolatok – hátrányokkal járnak a késleltetés, a szinkronizálás vagy a fizikai hatótávolság tekintetében. Ennek következtében egyre nagyobb integrációs kihívásokkal kell szembenézni, mivel a kamerák számának növekedésével bonyolultabbá válik a kábelezés, az időzítés kezelése és a rendszertervezés.
Más képfeldolgozási csatlakozási megoldásokhoz képest a GMSL számos egyértelmű előnnyel rendelkezik:
- A hatótávolságát és megbízhatóságát tekintve felülmúlja a MIPI CSI-2 szabványt, miközben megőrzi az egyszerű, alacsony késleltetésű, pont-pont architektúrát, elkerülve ezzel az Ethernet-alapú képfeldolgozási rétegek bonyolultságát.
- A GMSL az Ethernet nagyméretű, elosztott hálózati rugalmassága helyett a determinisztikus, pont-pont közötti kapcsolatot és az egyszerűbb többkamerás szinkronizálást részesíti előnyben.
- Teljesítménye nagyjából összehasonlítható az FPD-Linkkel, egy másik saját fejlesztésű SerDes opcióval, és a kettő közötti választást gyakran az ökoszisztémával kapcsolatos szempontok határozzák meg.
A GMSL a beágyazott és hálózatba kapcsolt képfeldolgozó rendszerek közötti egyensúlyt biztosítja azzal, hogy gyakorlatias megoldást kínál a nagy sebességű kamerák csatlakoztatására, determinisztikus, alacsony késleltetésű teljesítményt biztosítva. Ez egyszerűsíti a nagy sebességű képfeldolgozó rendszerek csatlakoztatását, miközben teljesíti a valós idejű robotikai rendszerek szigorú késleltetési és megbízhatósági követelményeit.
Nagy sebesség, nagy kapacitás
Ezek a strukturális előnyök döntő fontosságúak, mivel a kamerák felbontása és az érzékelők száma folyamatosan növekszik. A GMSL képes nagy mennyiségű adatot – különösen videóadatokat – továbbítani egyetlen kábelen keresztül, több kamerából vagy más érzékelőből származó adatokat is. A rendszer egy dedikált pont-pont kapcsolatot használ, hálózati torlódások és csomagirányítás nélkül. Ahelyett, hogy minden ponthoz több kapcsolatot használnának, a tervezők a GMSL segítségével nagy sávszélességű adatfolyamokat továbbíthatnak koaxiális vagy sodrott érpáros kábeleken keresztül, miközben alacsony késleltetést és kiváló zajállóságot biztosítanak.
Ez a technológia egyszerűsítette az autóipari kábelezést és javította a rendszerek megbízhatóságát, és ezek a tulajdonságok közvetlenül átültethetők a robotikára is: a kevesebb kábel egyszerűsíti az elektromos és mechanikus tervezést, ami könnyebb, megbízhatóbb rendszereket és egyszerűbb összeszerelést eredményez. Az elosztott kamerákat a számítási modultól távolabb is el lehet helyezni, minimális kábelezéssel csatlakoztatni, és mégis megbízhatóan szinkronizált, alacsony késleltetésű adatokat szolgáltatnak, amelyek támogatják a valós idejű érzékelést és döntéshozatalt.
A robotok egyre inkább több nagy felbontású kamerára támaszkodnak – amelyekhez néha mélységérzékelők vagy LiDAR (fényérzékelés és távolságmérés) is társul – a környezetük megértése érdekében (1. ábra). Egyetlen kamera is hatalmas adatfolyamot képes generálni, és ha többet használnak együtt, a sávszélességigény megdöbbentő mértékű lehet. Egy 1080p felbontású, 30 képkocka/másodperc (fps) sebességű, 24 bit/pixel felbontású kamera 1,4 Gbps adatforgalmat generál, így négy kamera 5,6 Gbps-t, hat kamera pedig 8,4 Gbps-t jelentene. A nagyobb felbontású, magasabb képkockasebességű alkalmazások a sávszélességigényt tíz gigabit/másodpercre is emelhetik.
Ezen adatmennyiség megbízható kezeléséhez olyan átviteli architektúrára van szükség, amely kiszámíthatóan skálázható anélkül, hogy időbeli bizonytalanságot okozna. A GMSL determinisztikus és alacsony késleltetésű kapcsolatai biztosítják, hogy a több kamera szinkronban maradjon és az adatok átvitele kiszámítható legyen, így megvalósíthatóvá válik olyan alkalmazások fejlesztése, amelyek több kamerás érzékelést alkalmaznak anélkül, hogy túlterhelnék a rendszert vagy időbeli bizonytalanságot okoznának.
Gyakorlati szempontok
A robotikai rendszerek fejlődése azzal párhuzamosan halad, ahogy a vállalatok egyre inkább olyan sokoldalú platformok felé fordulnak, amelyek képesek érzékelni, manipulálni és önálló döntéseket hozni. Az olyan humanoid robotok, mint a Tesla Optimus, több szinkronizált, nagy felbontású videófolyamot tartalmazó valós idejű kamerahálózatokra támaszkodnak a navigáláshoz és a komplex környezetekkel való interakcióhoz.
A robotlátás egyre gyakrabban alkalmaz elosztott érzékelőhálózatokat a valós idejű navigációhoz és manipulációhoz, ami szigorú szinkronizálást és megbízható kapcsolatot igényel. Az érzékelési igények növekedésével az alkalmazásoknak növelniük kell az érzékelők számát és felbontását anélkül, hogy túlterhelnék a számítási erőforrásokat vagy időzítési problémákat okoznának. Ezeket a követelményeket olyan perem- és összesítő eszközökkel valósítják meg, amelyek összekötik a képérzékelőket és a számítási platformokat, így biztosítva az autonóm működéshez elengedhetetlen alacsony késleltetésű, szinkronizált adatátvitelt.
A rendszer peremén olyan eszközök, mint az ADI MAX96717 GMSL2 szerializálója, szolgálnak interfészként a képérzékelők és az átviteli kapcsolat között (2. ábra). A kamera közvetlenül mögött elhelyezve a nagy sávszélességű MIPI CSI-2 kameraadatokat átalakítja nagy sebességű soros kapcsolattá, amelyen keresztül az adatok hosszú távú, autóipari típusú kábelezésen keresztül továbbíthatók. Az eszköz 3 Gbps vagy 6 Gbps előremenő adatátviteli sebességet támogat, 187,5 Mbps-es visszairányú vezérlőcsatornával, és legfeljebb négy MIPI CSI-2 sávot fogad el, sávonként 2,5 Gbps sebességgel.
A szerializáló kezeli a nyers kameraképek valós idejű formázását és továbbítását egy nagy hatótávolságú GMSL2-kapcsolaton keresztül, miközben megőrzi a képkockák integritását, a vezérlőjeleket és a szinkronizációs metaadatokat. A szorosan összekapcsolt képérzékelőt távérzékelő csomóponttá alakítja, amely a robot bármely pontjára elhelyezhető, így több kamera is elhelyezhető a robotplatformon anélkül, hogy a rövid hatótávolságú összeköttetések korlátoznák őket.
A vevő oldalon egy többcsatornás GMSL2-deszerializáló, például az ADI MAX96724 típusa, több távoli kamerából érkező adatfolyamot egyesít egyetlen, szinkronizált interfész-elosztóba. Az eszköz skálázható, többkamerás érzékelést tesz lehetővé a rendszer összetettségének növelése nélkül, és több GMSL2 kamera-streamet – legfeljebb négy kapcsolatot 3 vagy 6 Gbps sebességgel – egyesít egyetlen MIPI CSI-2 interfésszé a gazdagép processzor számára, miközben fentartja a szinkronizált időzítést és a kétirányú vezérlést az érzékelők között.
A kameraadatok deszerializálása után azok szabványos képfolyamok formájában kerülnek továbbításra a gazdagép processzorához, általában a MIPI CSI-2 interfészen keresztül. Innen a rendszer képfeldolgozó rétege párhuzamosan dolgozza fel a több kamerából érkező képkockákat; ez a réteg magában foglalhatja az ISP-feldolgozást, a szinkronizációs logikát, valamint olyan feladatokhoz szükséges mesterséges intelligencia-modelleket, mint az objektumfelismerés, a mélységbecslés, a követés és a jelenetértelmezés.
Mivel a GMSL-adatfolyamok állandó időzítéssel érkeznek, az alkalmazások megbízhatóan össze tudják hangolni a kamerákból származó adatokat, valamint a mozgást és a tájolást figyelő egyéb érzékelők – például a LiDAR vagy az inerciális mérőegységek (IMU-k) – adatait, így a robot koherens, valós idejű képet kap a környezetéről. A fejlesztés és a validálás érdekében teljes jellánc valósítható meg olyan kiértékelő platformok segítségével, amelyek a szerializáló oldali kameramodulokat deszerializáló EVK-kkal párosítják, például a MAX96724-BAK-EVK# – val (3. ábra), lehetővé téve a fejlesztők számára, hogy teszteljék a többkamerás szinkronizálást, a sávszélesség teljesítményét és a processzor integrációját, mielőtt áttérnének az egyedi hardvertervekre.
Kiforrott technológia és ökoszisztéma
A GMSL több generáción át fejlődött, amelyek mindegyike bővítette a sávszélességet, a hatótávolságot és a rendszer rugalmasságát, miközben megőrizte az azonos, SerDes-alapú alaparchitektúrát:
- A GMSL1 egy robusztus, autóipari minőségű megoldást vezetett be a nagy sebességű videó nagy távolságra történő továbbítására, elsősorban a HD-osztályú kamerarendszerek támogatására.
- A GMSL2 jelentősen növelte a sávszélességet és a skálázhatóságot, lehetővé téve a többkamerás 1080p és 4K rendszerek használatát szorosabb szinkronizálással, alacsonyabb késleltetéssel és hatékonyabb többcsatornás összesítéssel – ezáltal a modern ADAS és robotikai platformok domináns generációjává vált.
- A GMSL3 erre az alapra épít, tovább javítva az adatátviteli sebességet, a rendszer rugalmasságát, valamint támogatva a következő generációs nagy felbontású érzékelőket és az egyre összetettebb többszenzoros architektúrákat.
A GMSL mögött egy kiforrott ökoszisztéma áll, amely támogatja a skálázható, gyártásra kész telepítéseket. A robotikai fejlesztők kihasználhatják a valós körülmények között is megbízhatóan működő, tesztelt alkatrészek teljes skáláját, beleértve a kamerákat, a számítási modulokat, a kábeleket, a csatlakozókat, valamint a szoftver- és illesztőprogram-támogatást. Ez az ökoszisztéma csökkenti az integráció bonyolultságát, lerövidíti a fejlesztési ciklusokat, és megkönnyíti a korai prototípusokról a gyártási rendszerekre való átállást.
Következtetés
Ahogy a robotrendszerek egyre nagyobb érzékelő-sűrűség és valós idejű autonómia felé fejlődnek, a hálózati architektúráknak is skálázhatónak kell lenniük anélkül, hogy ez a determinizmus vagy a megbízhatóság rovására menne. A kábelezés egyszerűsítésével, a determinisztikus időzítés megőrzésével és az érzékelők elosztott elhelyezésének lehetővé tételével a GMSL-alapú architektúrák lehetővé teszik a robottervezők számára, hogy a számítási vagy szinkronizációs modell alapvető átalakítása nélkül növeljék az érzékelési képességeket. Ez kulcsfontosságú építőelemet jelent a nagy sűrűségű, valós idejű robotlátásrendszerek felé történő átállás során.
Rolf Horn
Applications Engineer
DigiKey Germany
Tel.: +49 89 2444 8 x 16817
E-mail: rolf.horn@digikey.com
Rolf Horn 2014 óta az európai műszaki támogatási csoport tagja, ahol elsődleges feladata az EMEA-régióbeli ügyfelek fejlesztéssel és mérnöki munkával kapcsolatos kérdéseinek megválaszolása, valamint német nyelvű cikkek és blogbejegyzések írása és lektorálása a DigiKey TechForum és a maker.io platformokon.
A DigiKey előtt több félvezetőgyártónál dolgozott, ahol elsősorban az ipari és autóipari alkalmazásokhoz szánt beágyazott FPGA-, mikrokontroller- és processzor-rendszerekre összpontosított. Rolf a bajorországi Müncheni Alkalmazott Tudományok Egyetemén szerzett villamos- és elektronikai mérnöki diplomát, és szakmai pályafutását egy helyi elektronikai termékek forgalmazójánál kezdte rendszer-megoldások tervezőjeként, ahol megbízható tanácsadóként osztotta meg egyre bővülő tudását és szakértelmét.
