milvus 向量資料庫安裝
milvus 簡介
官方文件：https://milvus.io/docs/zh
主要特性
-
1. 高效的向量檢索： -
• Milvus 支援多種高效的向量檢索演算法，包括基於記憶體的和基於磁碟的索引，能夠快速處理大規模向量資料。 -
2. 靈活的資料模型： -
• Milvus 允許使用者儲存和管理不同型別的資料，包括結構化資料和非結構化資料，支援多種資料格式。 -
3. 高併發處理： -
• Milvus 能夠支援高併發的查詢請求，適合即時應用場景。 -
4. 可擴充套件性： -
• Milvus 支援水平擴充套件，可以根據需求增加節點，以處理更大的資料集和更多的查詢請求。 -
5. 多種程式語言支援： -
• Milvus 提供多種語言的 SDK，包括 Python、Java、Go 和 C++，方便開發者在不同的應用程式中整合。 -
6. 整合機器學習框架： -
• Milvus 可以與主流的機器學習和深度學習框架（如 TensorFlow 和 PyTorch）整合，便於處理和分析向量資料。 -
7. 支援多種索引型別： -
• Milvus 提供多種索引型別（如 IVF、HNSW 和 ANNOY），使用者可以根據具體需求選擇合適的索引方式，以最佳化檢索效能。 -
8. 多種儲存後端： -
• Milvus 支援多種儲存後端，包括本地儲存和雲端儲存，使用者可以根據需要選擇合適的儲存方案。
應用場景
-
• 影像和影片檢索：在計算機視覺應用中，Milvus 可以用於影像和影片的相似性檢索。 -
• 自然語言處理：在 NLP 應用中，Milvus 可以用於文字向量的檢索和分析。 -
• 推薦系統：Milvus 可以幫助構建個性化推薦系統，透過使用者行為資料進行向量檢索。 -
• 生物資訊學：在生物資訊學領域，Milvus 可以用於基因資料和蛋白質資料的分析和檢索。
總結
milvus 安裝
mkdir -p /zpaas/volumes/etcd
mkdir -p /zpaas/volumes/milvus
mkdir -p /zpaas/volumes/minio
chmod 700 /zpaas/volumes/etcd
docker-compose-milvus.ymlversion:'3.5'
services:
etcd:
container_name:milvus-etcd
image:hub-nj.iwhalecloud.com/zcm_k8s/etcd:3.5.6-0
environment:
-ETCD_AUTO_COMPACTION_MODE=revision
-ETCD_AUTO_COMPACTION_RETENTION=1000
-ETCD_QUOTA_BACKEND_BYTES=4294967296
-ETCD_SNAPSHOT_COUNT=50000
volumes:
-/zpaas/volumes/etcd:/etcd
ports:
-"3379:3379"
command:etcd-advertise-client-urls=http://127.0.0.1:3379-listen-client-urlshttp://0.0.0.0:3379--data-dir/etcd
healthcheck:
test: ["CMD", "etcdctl", "endpoint", "health"]
interval:5s
timeout:3s
retries:10
minio:
container_name:milvus-minio
image:hub-nj.iwhalecloud.com/public/minio:RELEASE.2023-03-20T20-16-18Z
environment:
MINIO_ACCESS_KEY:minioadmin
MINIO_SECRET_KEY:minioadmin
ports:
-"9001:9001"
-"9000:9000"
volumes:
-/zpaas/volumes/minio:/minio_data
command:minioserver/minio_data--console-address":9001"
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
interval:5s
timeout:3s
retries:10
standalone:
container_name:milvus-standalone
image:hub-nj.iwhalecloud.com/public/milvus:v2.4.5
command: ["milvus", "run", "standalone"]
security_opt:
-seccomp:unconfined
environment:
ETCD_ENDPOINTS:etcd:3379
MINIO_ADDRESS:minio:9000
volumes:
-/zpaas/volumes/milvus:/var/lib/milvus
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"]
interval:30s
start_period:90s
timeout:20s
retries:3
ports:
-"19530:19530"
-"9091:9091"
depends_on:
-"etcd"
-"minio"
networks:
default:
name:milvus
`docker-compose -f docker-compose-milvus.yml up -d`
[email protected][/zpaas/volumes]# docker ps -a | grep milvus
df9f6e31a2f6 hub-nj.iwhalecloud.com/public/milvus:v2.4.5 "/tini -- milvus run…" 33 minutes ago Up 33 minutes (healthy) 0.0.0.0:9091->9091/tcp, :::9091->9091/tcp, 0.0.0.0:19530->19530/tcp, :::19530->19530/tcp milvus-standalone
3e4c32da554c hub-nj.iwhalecloud.com/public/minio:RELEASE.2023-03-20T20-16-18Z "/usr/bin/docker-ent…" 33 minutes ago Up 33 minutes (healthy) 0.0.0.0:9000-9001->9000-9001/tcp, :::9000-9001->9000-9001/tcp milvus-minio
be224b2f19d7 hub-nj.iwhalecloud.com/zcm_k8s/etcd:3.5.6-0 "etcd -advertise-cli…" 33 minutes ago Up 33 minutes (unhealthy) 2379-2380/tcp, 4001/tcp, 7001/tcp, 0.0.0.0:3379->3379/tcp, :::3379->3379/tcp milvus-etcd
[email protected][/zpaas/volumes]# docker exec -it milvus-etcd etcdctl --endpoints=http://127.0.0.1:3379 endpoint health
http://127.0.0.1:3379 is healthy: successfully committed proposal: took = 9.597225ms
attu 安裝
docker run -d \
--name=attu \
-p 8000:3000 \
-e MILVUS_URL=10.10.194.210:19530 \
hub-nj.iwhalecloud.com/public/attu:v2.3.9
minio 訪問
http://x.x.x.x:9001
