GMSL相机在(zài)Jetson AGX Orin上(shàng)的(de)部(bù)署(shǔ)指南(nán)

 公(gōng)司新(xīn)聞     |      2023-11-20 17:16:06    |      瀝拓

随着自(zì)动駕駛技術(shù)的(de)快(kuài)速發(fà)展(zhǎn),高(gāo)性(xìng)能(néng)的(de)相机模块(kuài)成(chéng)为了(le)自(zì)动駕駛车輛中(zhōng)不(bù)可(kě)或(huò)缺的(de)一(yī)部(bù)分(fēn)。GMSLGigE Vision and Machine Vision Link)相机是(shì)一(yī)種(zhǒng)廣泛用(yòng)于(yú)机器视覺領域的(de)相机模块(kuài),具有(yǒu)高(gāo)分(fēn)辨率、高(gāo)幀率和(hé)低(dī)延遲等優點(diǎn)。在(zài)NVIDIA Jetson AGX Orin上(shàng)部(bù)署(shǔ)GMSL相机,可(kě)以为自(zì)动駕駛车輛提(tí)供更(gèng)強(qiáng)大(dà)的(de)视覺感(gǎn)知能(néng)力。

本(běn)文(wén)将介紹GMSL相机在(zài)Jetson AGX Orin上(shàng)的(de)部(bù)署(shǔ)步驟,包(bāo)括硬(yìng)件(jiàn)連(lián)接、驅动程序安(ān)裝(zhuāng)、相机配置和(hé)應(yìng)用(yòng)程序開(kāi)發(fà)等方(fāng)面(miàn)。

硬(yìng)件(jiàn)清(qīng)單:

1、NVIDIA Jetson Agx Orin 開(kāi)發(fà)套(tào)件(jiàn)

2、Leetop GMSL相机轉(zhuǎn)接板 1715

3、GMSL相机 

图(tú)片

一(yī)、硬(yìng)件(jiàn)連(lián)接

首先(xiān),需要(yào)将1715GMSL相机與(yǔ)Jetson AGX Orin進(jìn)行連(lián)接。由(yóu)于(yú)AGX Orin套(tào)件(jiàn)的(de)接口板上(shàng)並(bìng)未将GMSL相机接口引出(chū),所(suǒ)以需要(yào)需要(yào)Leetop-1715将接口轉(zhuǎn)接出(chū)来(lái),同(tóng)时(shí)還(huán)需要(yào)为相机提(tí)供穩定(dìng)的(de)電(diàn)源供應(yìng)。

image.png

二(èr)、驅动程序安(ān)裝(zhuāng)及(jí)配置

安(ān)裝(zhuāng)完驅动程序後(hòu),需要(yào)对相机進(jìn)行配置,以便使其(qí)能(néng)夠滿足特(tè)定(dìng)應(yìng)用(yòng)的(de)需求。这(zhè)包(bāo)括設置相机的(de)工作(zuò)模式、分(fēn)辨率、幀率等參數。可(kě)以通(tòng)过(guò)修改配置文(wén)件(jiàn)或(huò)使用(yòng)制造商提(tí)供的(de)工具進(jìn)行配置。在(zài)配置过(guò)程中(zhōng),需要(yào)注意(yì)确保相机的(de)參數設置與(yǔ)應(yìng)用(yòng)程序的(de)需求相匹(pǐ)配

下(xià)载(zài)gmsl_camera.ko到(dào)Jetson AGX Orin,並(bìng)使用(yòng)脚本(běn)進(jìn)行驅动的(de)加载(zài)和(hé)相机的(de)配置,進(jìn)入(rù)

Jetson AGX Orin的(de)Ubuntu环(huán)境,並(bìng)打(dǎ)開(kāi)控制台(tái)(假設把(bǎ)驅动程序和(hé)配置脚本(běn)安(ān)裝(zhuāng)在(zài)HOME目录(lù)下(xià)),運行配置脚本(běn):

图(tú)片

GMSL可(kě)以同(tóng)时(shí)連(lián)接8路(lù)相机,yt-ox08b40-h.sh是(shì)8MP-YUV422相机的(de)配置脚本(běn)(不(bù)同(tóng)的(de)相机可(kě)能(néng)对應(yìng)不(bù)同(tóng)的(de)配置脚本(běn)),配置脚本(běn)檢測並(bìng)加载(zài)GMSL相机驅动,並(bìng)完成(chéng)GMSL參數的(de)配置。

脚本(běn)的(de)運行參數说(shuō)明(míng)如(rú)下(xià):

yt-ox08b40-h.sh 30 # 配置相机挂载(zài)控制總(zǒng)線(xiàn)30,配置第(dì)12路(lù)相机,默認为30

yt-ox08b40-h.sh 31 # 配置相机挂载(zài)控制總(zǒng)線(xiàn)31,配置第(dì)34路(lù)相机

yt-ox08b40-h.sh 32 # 配置相机挂载(zài)控制總(zǒng)線(xiàn)32,配置第(dì)56路(lù)相机

yt-ox08b40-h.sh 33 # 配置相机挂载(zài)控制總(zǒng)線(xiàn)30,配置第(dì)78路(lù)相机

第(dì)1~8路(lù)相机对應(yìng)的(de)設備节(jié)點(diǎn)为/dev/video0~/dev/video7,如(rú)果(guǒ)檢測到(dào)第(dì)1,和(hé)第(dì)5路(lù)相机,那麼(me)就(jiù)对應(yìng)操作(zuò)/dev/video0和(hé)/dev/video4

在(zài)上(shàng)图(tú)中(zhōng),檢測30-0地(dì)址的(de)相机失敗,说(shuō)明(míng)該相机沒(méi)有(yǒu)正(zhèng)常連(lián)接,而(ér)30-1成(chéng)功,说(shuō)明(míng)正(zhèng)常檢測到(dào)第(dì)2路(lù)相机(对應(yìng)設備节(jié)點(diǎn)为/dev/video1),其(qí)它(tā)相机的(de)檢測以此(cǐ)类推。

可(kě)以使用(yòng)以下(xià)命令来(lái)檢測相机驅动的(de)加载(zài)情(qíng)況:

图(tú)片

图(tú)片

图(tú)片

如(rú)果(guǒ)硬(yìng)件(jiàn)連(lián)接和(hé)設備沒(méi)有(yǒu)問(wèn)题,那麼(me)就(jiù)可(kě)以正(zhèng)常的(de)輸出(chū)图(tú)像。

GMSL相机一(yī)般輸出(chū)YUV422图(tú)像,分(fēn)辨率和(hé)幀頻都由(yóu)相机来(lái)确定(dìng),不(bù)可(kě)設置。例如(rú)对于(yú)該測試的(de)相机,分(fēn)辨率为3860x2160,幀頻为30/秒(miǎo),輸出(chū)的(de)图(tú)像格式是(shì)UYVY

四、應(yìng)用(yòng)程序開(kāi)發(fà)

完成(chéng)相机配置後(hòu),可(kě)以開(kāi)始(shǐ)開(kāi)發(fà)應(yìng)用(yòng)程序来(lái)獲取(qǔ)和(hé)處(chù)理(lǐ)相机的(de)图(tú)像數據(jù)。在(zài)開(kāi)發(fà)过(guò)程中(zhōng),需要(yào)使用(yòng)相應(yìng)的(de)软(ruǎn)件(jiàn)開(kāi)發(fà)包(bāo)(SDK)和(hé)編程語(yǔ)言(如(rú)C++或(huò)Python)。SDK通(tòng)常会(huì)提(tí)供一(yī)系(xì)列函(hán)數和(hé)工具,以便讓開(kāi)發(fà)者(zhě)能(néng)夠方(fāng)便地(dì)訪問(wèn)和(hé)控制相机。可(kě)以使用(yòng)SDK提(tí)供的(de)函(hán)數来(lái)读(dú)取(qǔ)相机的(de)图(tú)像數據(jù),並(bìng)在(zài)處(chù)理(lǐ)後(hòu)将其(qí)傳輸到(dào)自(zì)动駕駛车輛的(de)控制系(xì)統或(huò)其(qí)他(tā)模块(kuài)中(zhōng)。

对應(yìng)相机的(de)開(kāi)發(fà),使用(yòng)Linux的(de)V4L2标(biāo)準調用(yòng)即可(kě),關(guān)鍵的(de)問(wèn)题是(shì)找(zhǎo)到(dào)对應(yìng)的(de)設備节(jié)點(diǎn),並(bìng)根(gēn)據(jù)相机的(de)分(fēn)辨率,图(tú)像格式来(lái)進(jìn)行图(tú)像的(de)操作(zuò)。

六、總(zǒng)結

本(běn)文(wén)介紹了(le)GMSL相机在(zài)Jetson AGX Orin上(shàng)的(de)部(bù)署(shǔ)步驟,包(bāo)括硬(yìng)件(jiàn)連(lián)接、驅动程序安(ān)裝(zhuāng)、相机配置等方(fāng)面(miàn)。通(tòng)过(guò)按照这(zhè)些(xiē)步驟進(jìn)行操作(zuò),可(kě)以成(chéng)功地(dì)将GMSL相机集成(chéng)到(dào)Jetson AGX Orin系(xì)統中(zhōng),並(bìng)使其(qí)为自(zì)动駕駛车輛提(tí)供強(qiáng)大(dà)的(de)视覺感(gǎn)知能(néng)力。需要(yào)注意(yì)的(de)是(shì),在(zài)部(bù)署(shǔ)过(guò)程中(zhōng)需要(yào)仔细(xì)檢查每个(gè)步驟的(de)正(zhèng)确性(xìng),並(bìng)根(gēn)據(jù)實(shí)際應(yìng)用(yòng)需求進(jìn)行相應(yìng)的(de)調整和(hé)優化(huà)。

图(tú)片