基于Open3D的Lidar-Segment

1. Open3D-ML安装和使用

首先对于Open3d，我们要先对源码下载

# make sure you have the latest pip version
pip install --upgrade pip
# install open3d
pip install open3d

然后选择要安装兼容版本的PyTorch或TensorFlow，Open3d中提供了两种安装方式：

# To install a compatible version of TensorFlow
pip install -r requirements-tensorflow.txt
# To install a compatible version of PyTorch with CUDA
pip install -r requirements-torch-cuda.txt

这里作者选择的是Pytorch，因为作者对Pytorch比较熟悉，然后使用下面命令测试Open3d是否安装成功

# with PyTorch
python -c "import open3d.ml.torch as ml3d"
# or with TensorFlow
python -c "import open3d.ml.tf as ml3d"

下面我们可以下载数据集进行测试了

SemanticKITTI (project page)

Toronto 3D (github)

Semantic 3D (project-page)

S3DIS (project-page)

Paris-Lille 3D (project-page)

Argoverse (project-page)

KITTI (project-page)

Lyft (project-page)

nuScenes (project-page)

Waymo (project-page)

ScanNet(project-page)

这里选择了SemanticKITTI的数据集进行测试

# Launch training for RandLANet on SemanticKITTI with torch.
python scripts/run_pipeline.py torch -c ml3d/configs/randlanet_semantickitti.yml --dataset.dataset_path  --pipeline SemanticSegmentation --dataset.use_cache True


# Launch testing for PointPillars on KITTI with torch.
python scripts/run_pipeline.py torch -c ml3d/configs/randlanet_semantickitti.yml --split test --dataset.dataset_path data --pipeline SemanticSegmentation --dataset.use_cache True --batch_size 16

虽然官方提供的predefined scripts非常便捷，但是既然我们装好了Open3d，那我们就可以通过自己编写代码的方式来完成。

2. 基于Open3d的二次开发

下面将展示如何自己去调用Open3d的api去写训练集、测试集、可视化

模型训练：

import os
import open3d.ml as _ml3d
import open3d.ml.torch as ml3d


cfg_file = "ml3d/configs/randlanet_semantickitti.yml"
cfg = _ml3d.utils.Config.load_from_file(cfg_file)


cfg.dataset['dataset_path'] = "./data"


dataset = ml3d.datasets.SemanticKITTI(cfg.dataset.pop('dataset_path', None), **cfg.dataset)


# create the model with random initialization.
model = ml3d.models.RandLANet(**cfg.model)


pipeline = ml3d.pipelines.SemanticSegmentation(model=model, dataset=dataset,device="cuda:0", **cfg.pipeline)


# prints training progress in the console.
pipeline.run_train()

在这里主要需要侧重关注的有两处：cfg_file和cfg.dataset['dataset_path']，这两处分别是环境配置和数据集设置。

在randlanet_semantickitti.yml中里面包含了所有需要配置的内容

randlanet_semantickitti.yml

dataset:
 name: Semantic3D
 dataset_path: # path/to/your/dataset
 cache_dir: ./logs/cache_small3d/
 class_weights: [5181602, 5012952, 6830086, 1311528, 10476365, 946982, 334860, 269353]
 ignored_label_inds: [0]
 num_points: 65536
 test_result_folder: ./test
 use_cache: true
 val_files:
 - bildstein_station1_xyz_intensity_rgb
 - domfountain_station1_xyz_intensity_rgb
 steps_per_epoch_train: 500
 steps_per_epoch_valid: 10
model:
 name: RandLANet
 batcher: DefaultBatcher
 ckpt_path: # path/to/your/checkpoint
 num_neighbors: 16
 num_layers: 5
 num_points: 65536
 num_classes: 8
 ignored_label_inds: [0]
 sub_sampling_ratio: [4, 4, 4, 4, 2]
 in_channels: 6
 dim_features: 8
 dim_output: [16, 64, 128, 256, 512]
 grid_size: 0.06
 augment:
  recenter:
   dim: [0, 1]
  normalize:
   feat:
    method: linear
    bias: 0
    scale: 255
  rotate:
   method: vertical
  scale:
   min_s: 0.9
   max_s: 1.1
  noise:
   noise_std: 0.001
pipeline:
 name: SemanticSegmentation
 optimizer:
  lr: 0.001
 batch_size: 2
 main_log_dir: ./logs
 max_epoch: 100
 save_ckpt_freq: 5
 scheduler_gamma: 0.9886
 test_batch_size: 1
 train_sum_dir: train_log
 val_batch_size: 2
 summary:
  record_for: []
  max_pts:
  use_reference: false
  max_outputs: 1

模型测试：

import os
import open3d.ml as _ml3d
import open3d.ml.torch as ml3d


cfg_file = "ml3d/configs/randlanet_semantickitti.yml"
cfg = _ml3d.utils.Config.load_from_file(cfg_file)


model = ml3d.models.RandLANet(**cfg.model)
cfg.dataset['dataset_path'] = "./data"
dataset = ml3d.datasets.SemanticKITTI(cfg.dataset.pop('dataset_path', None), **cfg.dataset)
pipeline = ml3d.pipelines.SemanticSegmentation(model, dataset=dataset, device="cuda:0", **cfg.pipeline)


# download the weights.
ckpt_folder = "./logs/"
os.makedirs(ckpt_folder, exist_ok=True)
ckpt_path = ckpt_folder + "randlanet_semantickitti_202201071330utc.pth"
randlanet_url = "https://storage.googleapis.com/open3d-releases/model-zoo/randlanet_semantickitti_202201071330utc.pth"
if not os.path.exists(ckpt_path):
  cmd = "wget {} -O {}".format(randlanet_url, ckpt_path)
  os.system(cmd)


# load the parameters.
pipeline.load_ckpt(ckpt_path=ckpt_path)


test_split = dataset.get_split("test")
print("len%d",test_split)
data = test_split.get_data(0)


# run inference on a single example.
# returns dict with 'predict_labels' and 'predict_scores'.
result = pipeline.run_inference(data)


# evaluate performance on the test set; this will write logs to './logs'.
pipeline.run_test()

在模型测试中和模型训练一样也需要cfg_file和cfg.dataset['dataset_path']，但是同时需要加入ckpt_path作为训练模型的导入。

模型可视化

import os
import open3d.ml as _ml3d
import open3d.ml.torch as ml3d


cfg_file = "ml3d/configs/randlanet_semantickitti.yml"
cfg = _ml3d.utils.Config.load_from_file(cfg_file)
cfg.dataset['dataset_path'] = "./data"
# construct a dataset by specifying dataset_path
dataset = ml3d.datasets.SemanticKITTI(cfg.dataset.pop('dataset_path', None),**cfg.dataset)


# get the 'all' split that combines training, validation and test set
all_split = dataset.get_split('test')


# print the attributes of the first datum
print(all_split.get_attr(0))


# print the shape of the first point cloud
print(all_split.get_data(0)['point'].shape)


# show the first 100 frames using the visualizer
vis = ml3d.vis.Visualizer()
vis.visualize_dataset(dataset, 'all', indices=range(100))

模型可视化就没什么好说的了，基本上和上述两种差不不多，只是使用了ml3d.vis.Visualizer()做了可视化。

3. 如何理解SemanticKITTI数据集

KITTI Vision Benchmark 的里程计数据集，显示了市中心的交通、住宅区，以及德国卡尔斯鲁厄周围的高速公路场景和乡村道路。

原始里程计数据集由 22 个序列组成，将序列 00 到 10 拆分为训练集，将 11 到 21 拆分为测试集。

SemanticKITTI数据集采用和 KITTI 数据集相同的标定方法。这使得该数据集和kitti数据集等数据集可以通用。

该数据集中对28个类进行了注释，确保了类与Mapillary Visiotas数据集和Cityscapes数据集有很大的重叠，并在必要时进行了修改，以考虑稀疏性和垂直视野。

bin文件中存储着每个点，以激光雷达为原点的x,y,z,i信息，其中i是强度。

把数据提取出来也很简单。用numpy库。提取出来就是一个n行4列的矩阵。

points = np.fromfile(".bin文件路径", dtype=np.float32).reshape(-1, 4)

接下来就是.label文件，在KITTI API的github中能找到说明。

里面东西也挺多的，主要就看.label那部分。

在remap_semantic_labels.py文件中。终于知道，label中每个值表示什么了。

在config目录下的semantic-kitti.yaml文件中。

 label = np.fromfile(".label文件路径", dtype=np.uint32)
 label = label.reshape((-1))

我们还区分了移动和非移动车辆与人类，即，如果车辆或人类在观察时在某些扫描中移动，则会获得相应的移动类别。

下图列出了所有带注释的类，补充材料中可以找到对不同类的更详细讨论和定义。

总之，我们有28个类别，其中6个类别被指定为移动或非移动属性

每个velodyne文件夹下的xxxx.bin文件为每次扫描的原始数据，每个数据点的标签的二进制表示储存在文件xxxx.label中。

每个点的标签是32位无符号整数（也称为’uint32_t’），其中较低的16位对应于标签。

较高位对应了16位编码实例id，该id在整个序列中时间上是一致的，即两次不同扫描中的同一对象获得相同的id。

这也适用于移动车辆，但也适用于环路闭合后看到的静态对象。

这里是开源SemanticKITTI的API。功能包括但不限于：可视化、计算IOU等。按照脚本的介绍即可完成使用。

审核编辑：汤梓红