BMW / 인공지능 신경망 / HydraNet PlaidNet / 라이다 포인트 클라우드 / DRIVE) 자율주행 기업별 개발 현황 (3) (엔비디아 / 테슬라 / 다임러 벤츠 /

 

7. 엔비디아(Nvidia)

(1) 자율주행 뉴럴 네트워크(neural network) – 테슬라의 HydraNet은 객체를 큰 카테고리로 분류하는 백본(Backbone) 뉴럴 네트워크(neural network) 상에 범주내에서 보다 상세하게 객체를 구분하기 위한 38개의 뉴럴 네트워크로 구성.이 작은 뉴럴 네트워크(neural network)는 약 1,000개의 결과값, 즉 38개의 대상이 가지는 1,000개의 형태를 인식할 수 있다.

< 출처 : YouTube / PyTorch >

– 이러한 HydraNet은 8개가 있으며, 이 8개의 신경망이 실시간으로 전달하는 수천개의 결과값을 통합시켜 하나의 의사결정을 이끌어내기 위한 또 다른 신경망(RN)이 존재한다.

< 출처 : YouTube / PyTorch >

– 엔비디아 또한 단 하나의 알고리즘만으로 자율주행을 구현할 수 없다면서 여러 개의 DNN(Deep Neural Network)을 이용.자율주행 연구기업이 공개하는 신경망은 주로 인지 영역이며, 인식 분야별로 각각 신경망을 만들고 그 결과치를 통합하는 것이 현재 가장 일반적인 방법이다.

– 하지만 위에서 설명한 바와 같이 테슬라의 오토파일럿 리라이트는 PlaidNet이라는 새로운 네트워크를 통해 단계를 나누지 않고 대상을 인식한 뒤 의사결정까지 한 번에 이끌어내는 구조일 것으로 추측. 공식적으로는 아니지만 사실이라면 테슬라는 경쟁사에 비해 여전히 앞서 있는 상황이라고 볼 수 있다.

<출처:Nvidia>

1) 장애물 인식(Obstacle Perception) – DriveNet : 차량, 보행자, 자전거 등의 객체를 감지하여 분류. 오브젝트 움직임 예측을 위한 임시 모델도 포함한다

– Open RoadNet : 객체 주위의 운전 가능한 공간 감지. 장애물이 점유하고 있는 공간과 점유하고 있지 않은 주행 가능 공간을 구분하는 경계를 예측

2) 경로인식(Path Perception) – Pilot Net : 인간의 운전행태에서 차선유지, 차선변경, 차선분할 및 병합 시 주행궤적 예측

– PathNet : 차선 표시 여부와 관계없이 모든 주행 가능한 경로 및 차선 구분 구간 예측

– MapNet : 차선, 횡단보도, 표지판 문자, 노면 화살표 표시 등 시각적 랜드마크 탐지. 경로 인식뿐 아니라 지도 및 로컬화에도 유용한 특성을 추출할 수 있다.

3) 대기상태 인식(Wait Conditions Perception) – WaitNet : 교차로와 교차로 유형, 교차로까지의 거리, 신호, 표지판 등 차량이 정지하고 기다려야 하는 장소의 상태를 탐색

– LightNet : 신호등의 신호 색상과 방향을 분류

– SignNet : 교통표지판 유형(정지, 제한속도 등) 분류

4) 고도의 기능 인식(Advanced Functions Perception) – Clear Sight Net : 카메라 뷰가 차단된 위치를 확인하여 그 결과값을 깨끗, 흐림, 차단된 3개 중 하나로 분류

– Auto High Beam Net : 상향등 자동제어를 위한 신호 생성

5) Multi-View LidarNet & Lidar object tracker – 먼저 라이다로 스캔한 데이터(포인트 클라우드)를 통해 차량 주변 환경을 의미에 따라 구분(Semantic Segmentation). 그리고 라이다 데이터에 BEV(버드 아이뷰 위에서 내려다봄)도 적용하여 물체를 감지하고 높낮이를 낮음.

– 이 둘을 합쳐서 신경망에 입력. 그러면 신경망은 의미적 정보와 높낮이 정보를 바탕으로 물체의 인스턴스(Instance)를 추출. 간단히 말하면 2D 라벨링 정보와 라이다포인트 기하학 정보를 합하여 신경망은 3차원을 이해.

– 엔비디아는 이러한 신경망 처리, 특히 3차원을 인식하는데 방대한 컴퓨팅이 필요하기 때문에 클라우드 방식으로는 한계가 있다고 설명. 따라서차량내에서대부분의작업을처리할수있는엣지컴퓨팅을강조

-엣지 컴퓨팅에 초점을 맞추는 것에 따라, 이하에 설명하는 엔비디아의 자동차 내장형 자동 주행 팁을 봐도, 컴퓨팅 성능이 테슬라의 FSD를 압도해, 향후 발매되는 신제품은 몇배 이상. 그만큼 가격이 수백 내지 수천만원대로 고가

– 반면 테슬라는 라이다를 사용하지 않고 2D 데이터를 통해 3차원을 이해하는 방식을 시도하고 있어 지금의 FSD 컴퓨터로도 충분할 것으로 보인다. 따라서 테슬라가 라이다를 사용하지 않는 라이다 비용뿐 아니라 반도체 칩 및 컴퓨팅 비용까지 줄여 저가의 범용적인 자율주행차를 만들기 위한 것이 아닐까 생각된다.

(2) 소프트웨어

<출처:Nvidia>

1) DRIVE AV-DRIVE AV 소프트웨어 스택은 인식, 플래닝(의사결정), 맵핑(맵) 기능 및 실제 고품질 주행데이터로 훈련된 다양한 DNN(Deep Neural Network) 제공

2) DRIVE IX-DRIVE IX는 혁신적인 AI 콕핏 솔루션을 위한 인테리어 센싱을 제공하는 개방형 소프트웨어 플랫폼

– 운전자 및 탑승자 모니터링, ARVR 시각화, 자동차와 탑승자간 자연언어 상호작용을 위한 기능, DNN에 접근하는 인식 어플리케이션 제공

3) DriveWorks SDK-NVIDIA DriveWorks SDK는 DRIVEOS 외에 미들웨어 기능을 제공하는 개발자 키트

– 이러한 기능은 센서 추상화 레이어(SAL)와 센서 플러그인, 데이터 레코더, 자동차 I 지원, 딥 뉴럴 네트워크(DNN) 프레임워크로 구성

4) DRIVE OS-DRIVEOS는 엔비디아 DRIVE 소프트웨어 스택의 기반으로서 최초의 가속 컴퓨팅용 운영 체제

– 센서 입력 처리를 위한 NvMedia, 효율적인 병렬 컴퓨팅 구현을 위한 NVIDIA CUDA 라이브러리, 실시간 AI 추론을 위한 NVIDIA TensorRT, 하드웨어 엔진에 접근하기 위한 기타 개발자 도구 및 모듈로 구성

5) NVIDIA DRIVE 하이퍼리언(Hyperion)은, 자동 운전 자동차 데이터 수집 및 인식 평가 플랫폼. 센서, 인공지능, 자율주행, 운전자 모니터링, 시각화용 전 소프트웨어 스택으로 구성

– The DRIVE Hyperion 개발자 키트에서 개발자는 DRIVE AV 소프트웨어를 평가해, 자동 주행 자동차 제품군의 데이터를 수집할 수 있다. 소프트웨어는 NVIDIA DRIVE OTA 무선 업데이트 인프라 및 서비스를 통해 DRIVE Hyperion으로 업데이트 된다.

(3) 데이터센터 인프라

1) NVIDIA DGX Systems – 자율주행자동차 구축에는 방대한 데이터가 필요. 이러한데이터관리와큐레이팅에는고성능컴퓨팅뿐만아니라지능형훈련방법도필요함

– 엔비디아 DGX 시스템 및 고급 트레이닝 툴은 대규모 뉴럴 네트워크 트레이닝의 간소화와 최적화를 지원

DRIVE Constellation 시뮬레이션 플랫폼 – 자율주행자동차가 도로에서 테스트하면서 가능한 모든 교통상황을 접할 수 없음.시뮬레이션 내부에는 수많은 가상자동차가 일상적인 주행부터 코너 케이스, 나아가 위험한 상황까지 포함해 다양한 범위의 시나리오에 걸쳐 실세계보다 더 효율적이고, 경제적으로 안전하게 수백만 마일을 주행할 수 있다.

– DRIVE Constellation™시뮬레이션 플랫폼은 가상 자동차의 센서 출력을 생성하는 2개의 병렬 서버로 구성. 데이터는 AV 스택을 실행하는 DRIVE AGX AI 자동차 컴퓨터에 스트리밍 되어 리얼 타임 의사결정. 그 후 자동차 제어 명령이 시뮬레이터로 반환된다

(4) 내장 칩

NVIDIA DRIVE AGX XAVIER-Xavier(자비에)는 레벨 2 이상 및 레벨 3 자동 주행을 위해 30 TOPS(1초당 조단위 연산) 처리

– Xavier SoC는 다른 6가지 타입의 프로세서 CPU, GPU, DLA(딥러닝 가속기), PVA(프로그래밍 가능한 비전 가속기), ISP(이미지 신호 프로세서), 스테레오 광학 플로우 가속기 통합

2) NVIDIA DRIVE AGX PEGASUS-Pegasus(페가수스)는, 2개의 Xavier SoC와 2개의 NVIDIA Turing GPU를 활용해, 320 TOPS라고 하는 터무니 없는 슈퍼 컴퓨팅을 발휘(테슬라 FSD 컴퓨터 144 TOPS, 모빌아이 Ey.

– 이 플랫폼은 로보택시와 동일한 레벨 4 및 레벨 5 완전 자율주행 시스템용

NVIDIA DRIVE AGX Orin-Orin은 자비로 업그레이드한 버전이라고 할 수 있는 제품으로 170억 개의 트랜지스터로 구성된 새로운 SoC를 기반으로 하는 플랫폼

– 엔비디아의 차세대 GPU 아키텍처 암페어(Ampere), ARM 헤라클레스(Hercules) CPU 코어, 200 TOPS 연산을 제공하는 새로운 딥러닝과 컴퓨터 비전 액셀러레이터를 통합, 전세대 자비 대비 7배 향상된 성능 구현

-즉, ADAS수준의 컴퓨팅 제품이 자비, 자비를 활용한 완전 자율 주행 수준 제품이 페가수스, 그리고 자비의 버전이 됐다. 이는 다시 올링을 활용해 완전 자율주행용 플랫폼을 만들면 현재 페가수스 이상의 성능을 발휘하는 제품이 나올 수 있다는 의미다.벤츠와 파트너십을 맺고 준비 중인 오를린 기반의 완전 자율주행용 제품은 무려 2,000TOPS.

<출처:Forbes>

(5) 주요사업현황 – 볼보 : DRIVE AGX Pegasus, DRIVE AV 소프트웨어 스택, DRIVE hardware-in-the-loop 시뮬레이션 플랫폼, DRIVE Constellation 제공

– 도요타 : DRIVE AGX Xavier 또는 DRIVE AGX Pegasus , DRIVE Constellation 제공

– 메르세데스 벤츠 : DRIVE AGX Orin, DRIVE 인프라, DRIVE AV 소프트웨어 스택

– 폭스바겐 ( 아우디 포함 ) : Drive IX , DRIVE PX 2 , DriveWork , PilotNet

– ZF : DRIVE AGX Xavier , DRIVE AV 소프트웨어 스택

– 그 외 우버, 소니, 니오, 비오니아, 현대자동차 등에 주요 제품 공급

8. 다임러 벤츠 & (Daimler & BMW)

– 2019년 2월 다임러와 BMW는 ADAS와 자율주행 공동개발을 통해 미래 서비스 업체에 약 1조3천억원 이상을 공동 투자할 것을 발표

– 그러나 2020년 6월, 이러한 파트너십을 중단. 공유기술플랫폼을만드는데 드는비용뿐만아니라현황을고려하여협력이행에성공하는시기가적절하지않다는설명

– 하지만 며칠 뒤 다임러는 엔비디아와 자동운전 협력을 발표했다. 2024년 상용화될 엔비디아 드라이브 AGX 올링(Nvidia Drive AGX Orin) 플랫폼이 기존 ECU를 대신해 다임러 차량의 모든 제어와 정보처리를 담당할 계획이며 자동 주차 기능을 포함한 모바일 앱도 함께 만들 예정이다.

– 2020년 10월 웨이모와 자동운전 트럭 파트너십 체결. 다임러의 프레이트 라이너 카스카디아(Freightliner Cascadia) 트럭에 웨이모 자율주행 기술을 적용, 수년 후 출시 예정

– 이를 보면 다임러는 BMW와의 협력 및 독자 개발에는 비전이 없어 여러 자율 주행 전문 업체의 솔루션을 쓸 것이라고 판단한 것 같다. BMW도 독자 개발이 아니라 결국 모빌아이에 의존하는 방향으로 가고 있다.

– 참고로 2021년 하반기 유럽 자율주행 규제 도입에 맞춰 다임러는 2021년형 S클래스를 시작으로 신제품 차량에 탑재할 예정인 뉴 드라이브 파일럿 기능에 활용될 스테레오 카메라 모듈을 LG전자로부터 공급받는다. 이는 자율주행 3용 카메라 모듈로 이미 2014년부터 LG전자와 스테레오 카메라의 공동개발 양해각서(MOU)를 체결한 바 있다.

<출처:Nvidia>

태그: