基于GaussDB 200的图像特征检索-配置文件模板
# name：算法名，唯一标识一个算法库，算法名长度不长于4096字节，不能重复，CPU和GPU同样算法库实现的也不能重复#
# order：排序方式，只能是asc或者desc，其他值非法
# useDefaultModel：是否使用默认模型标志，只能是true或者false，其他值非法
#
# libs： 算法库的路径
# userLibs: 第三方公司算法库路径，路径长度不长于4096字节
# cpuLib：第三方公司CPU算法库路径
# gpuLib：第三方公司GPU算法库路径
# systemLibs：自研算法库路径
# cpuLib：自研CPU算法库路径
# gpuLib：自研GPU算法库路径
# cpu算法必须提供，gpu算法可以选择提供。
#
# formula: 原始向量计算公式相关配置
# handler：处理方式是用平台内置的还是使用第三方厂商开发的。除Formula_Embedded_L2_Float32和Formula_Specific_Impl以外的值非法
# Formula_Embedded_L2_Float32: 内置的L2 FLOAT计算方法， 自研CPU算法库路径必须提供并且有效，自研GPU算法库路径可以选择提供。
# Formula_Specific_Impl: 第三方厂商实现的方法，第三方CPU算法库路径必须提供并且有效，第三方GPU算法库路径可以选择提供。
#
# model: 优化算法的模型相关配置
# handler：处理方式是用平台内置的还是使用第三方厂商开发的，只支持以下模型名称
# Model_Embedded_XQ: 内置的XQ模型
# Model_Embedded_HR: 内置的HR模型
# Model_Not_Supported: 内置的空模型，和handler不设置的作用相同，表示该算法没有优化模型
# Model_Specific_Impl_XQ 第三方厂商实现的XQ模型
# Model_Specific_Impl_HR 第三方厂商实现的HR模型
#
# centralize：模型中心点计算方式，目前不支持，必须配置Centralize_Not_Supported
# Centralize_Not_Supported：不支持
# Centralize_Embedded_Xmean：内置Xmean
#
# params：算法库使用到的参数（平台能感知，但是不理解其意义，由算法库提供者指定）
# centroidNum：中心点个数
# subVecSize：
#
# 注意：
# 1、配置算法库路径和模型路径必须保证路径下相应文件存在。
# 2、配置存储介质类型如果是GPU，则必须保证算法配置支持GPU算法
# 3、reload操作只能删除，增加算法配置，不能修改算法配置，删除算法配置必须保证算法没有使用。
#
# LOPQ算法配置注意事项：
# 1、LOPQ算法参数不支持修改，保证默认值
# 2、LOPQ算法必须配置模型路径，内置了L2距离计算函数
# 3、LOPQ算法触发训练最小数据必须大于52万，配置值trainThreshold必须大于520000。
# 4、LOQP算法短特征长度是36
# 5、LOPQ算法支持使用聚类优化，聚类优化缩小检索范围，置true使用聚类，否则不使用，不配置表示不使用聚类优化
#
algorithmConfig:
#yt pq model
# algorithm_yt_pq_model:
# centralize:
# handler: Centralize_Not_Supported
# formula:
# handler: Formula_Specific_Impl #Formula_Embedded_L2_Float32 #Formula_Specific_Impl
# libs:
# sysCpuLib: no_so
# sysGpuLib: no_so
# userCpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libcpu_ytpq_algorithm.so
# userGpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libgpu_pq_algorithm.so
# model:
# handler: Model_Specific_Impl_XQ
# expandSearchRatio: 50
# calcCodecCpu: true
# name: algorithm_yt_pq_model
# order: asc
# params:
# paramBits: 8
# paramM: 32
# paramDim: 128
# modelPath: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/yt_pq_model.model
# libPath: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libcalcDistance.so
# version: 0.4;0.000,0.446,0.496,0.825,0.909,0.923,0.943,1.00;-1.00,0.135,0.248,0.341,0.421,0.501,0.728,1.00
# useDefaultModel: false
#lopq model cluster
algorithm_lopq_model_cluster:
centralize:
handler: Centralize_Not_Supported
formula:
handler: Formula_Specific_Impl #Formula_Embedded_L2_Float32 #Formula_Specific_Impl
libs:
sysCpuLib: no_so
sysGpuLib: no_so
userCpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libcpu_lopq_algorithm.so
userGpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libgpu_lopq_algorithm.so
model:
handler: Model_Specific_Impl_XQ #Model_Not_Supported #Model_Specific_Impl_XQ
expandSearchRatio: 50
useCluster: true #此配置只支持LOPQ算法优化，其它算法不配置
name: algorithm_lopq_model_cluster
order: asc
params:
LOPQ_PARAM_M: 32
LOPQ_PARAM_V: 100
LOPQ_PARAM_D: 128
LOPQ_PARAM_Ks: 256
LOPQ_PARAM_sample_ratio: 100 # in 1%
modelPath: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/lopq_model_d128_v100_m32_ks256_from_100_w
useDefaultModel: false
#lopq
algorithm_lopq_model:
centralize:
handler: Centralize_Not_Supported
formula:
handler: Formula_Specific_Impl #Formula_Embedded_L2_Float32 #Formula_Specific_Impl
libs:
sysCpuLib: no_so
sysGpuLib: no_so
userCpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libcpu_lopq_algorithm.so
userGpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libgpu_lopq_algorithm.so
model:
handler: Model_Specific_Impl_XQ #Model_Not_Supported #Model_Specific_Impl_XQ
expandSearchRatio: 50
name: algorithm_lopq_model
order: asc
params:
LOPQ_PARAM_M: 32
LOPQ_PARAM_V: 100
LOPQ_PARAM_D: 128
LOPQ_PARAM_Ks: 256
LOPQ_PARAM_sample_ratio: 100 # in 1%
modelPath: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/lopq_model_d128_v100_m32_ks256_from_100_w
useDefaultModel: false
#gpu pq model
algorithm_gpu_pq_model:
centralize:
handler: Centralize_Not_Supported
formula:
handler: Formula_Specific_Impl #Formula_Embedded_L2_Float32 #Formula_Specific_Impl
libs:
sysCpuLib: no_so
sysGpuLib: no_so
userCpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libcpu_pq_algorithm.so
userGpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libgpu_pq_algorithm.so
model:
handler: Model_Specific_Impl_XQ
expandSearchRatio: 50
name: algorithm_gpu_pq_model
order: asc
params:
paramBits: 8
paramM: 32
paramDim: 256
modelPath: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/pq_global.model
useDefaultModel: false
#cpu pq model
algorithm_cpu_pq_model:
centralize:
handler: Centralize_Not_Supported
formula:
handler: Formula_Specific_Impl #Formula_Embedded_L2_Float32 #Formula_Specific_Impl
libs:
sysCpuLib: no_so
sysGpuLib: no_so
userCpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libcpu_pq_algorithm.so
userGpuLib: no_so
model:
handler: Model_Specific_Impl_XQ
expandSearchRatio: 50
name: algorithm_cpu_pq_model
order: asc
params:
paramBits: 8
paramM: 32
paramDim: 256
modelPath: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/pq_global.model
useDefaultModel: true
#
# searchlet 配置
#
searchletConfig:
#
## 检索临时数据目录,内部使用,用于存储结构化数据
folderName: ./simsearch/data
#
## 训练编码平台使用，训练编码所需要的向量个数，向量个数小于配置值不启动训练编码
model:
trainThreshold: '1000000'
#
## 特征向量组合配置，配置大小会影响数据存储时间和查询时间，
## 建议最小配置值：dataSetSize：10000， segmentSize：1000
## dataSetSize：一个dataset内存放向量个数
## segmentSize：一个segment内存放向量个数
## 性能测试建议配置 segmentSize 10000000，dataSetSize 20000000
## 内存空间需要调整需要加大
dataSet:
segmentSize: '1000000'
dataSetSize: '2000000'
#
## storageType：存储介质类型：配置值GPU_MEM，CPU_MEM，SSD，HDD，其它配置值非法
## GPU_MEM - GPU显存 CPU_MEM - CPU内存 SSD- SSD文件存储 HDD- HDD硬盘文件存储, 其中SSD存储类型未实现。
## 注意：1、存储类型配置可以选择配置，codec，modelID是预制属性，代表短特征和模型ID，名字不能修改。
## 2、存储类型配置值必须是结构化数据的子集。
## 3、如果没有配置存储介质，短特征默认存储在GPU，模型ID默认存储在HDD，其他属性默认存储介质类型CPU_MEM。
## 4、如果配置了GPU算法，没有配置GPU资源，配置非法。
## 5、如果配置了GPU存储介质，GPU设备必须存在
## 6、如果配置没有GPU设备，GPU资源配置值必须是-1，同时不能配置GPU算法。
# storageType: # GPU_MEM CPU_MEM SSD HDD
# codec: CPU_MEM
# modelID: HDD
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69959250/viewspace-3155795/ ，如需转载，请注明出处，否则将追究法律责任。
