途见 · TUJIAN

基于 3DGS 与 GMVR 的澳门文旅记忆系统

看见一座城，留下每一处记忆。

融合三维高斯实景、地理感知多视角识别与建筑记忆档案，连接澳门的地点、照片与文化故事。

在线体验 · 项目介绍 · 作品说明 PDF · MacauSplat

项目简介

**途见（TUJIAN）**是面向澳门的文旅记忆系统，也是澳门记忆项目的当前作品名称。系统以三维城市地图为入口，将实景浏览、建筑识别、地理位置确认、真实照片档案和数字人导览组织在同一套体验中。

澳门的记忆不只存在于著名景点，也存在于骑楼、唐楼、街市与普通街巷。途见支持为普通建筑人工确认位置、建立永久编号并保存照片，让尚未进入识别参考库的地点也能够被记录。

本仓库提供网站、浏览器识别工作台、采集选图工具及相关数据处理脚本。三维重建桌面端由独立项目 MacauSplat 提供。

当前功能

模块	功能
三维城市地图	澳门建筑轮廓与高度展示、地形、景点、周边设施、定位、步行与驾车路线规划；初始状态开启记忆点、关闭周边设施
GMVR 建筑识别	YOLO 建筑检测、DINOv2 特征检索、Top-3 候选、位置辅助排序和最多三张照片的一致性核验
普通建筑建档	在地图上确认建筑轮廓或位置、创建永久编号、照片归档、空间查重、人工复核与档案导出
城市记忆相册	真实建筑照片、记忆点卡片、照片时间轴、地点解读、作者及来源信息
3DGS 实景浏览	大三巴原始高斯模型实时渲染；旋转、平移、缩放、自动环绕、标定视角与本地 PLY/SOG 浏览
数字人导览	选择景点后由动画角色「小澳」介绍建筑；支持文字对话及接入腾讯云语音合成、语音识别
采集选图工作台	照片及影格选取、预算选图、人工审核、MacauSplat 质量报告读取和审核清单导出
资料处理工具	照片归档、可选路人人脸模糊、参考库构建、模型导出及独立实拍评测工具

核心技术

3DGS · 三维高斯泼溅

3D Gaussian Splatting 用带有位置、形状、颜色与透明度的三维高斯表示场景，在不同视角下实时渲染。途见通过 MacauSplat 的重建流程获取实景模型，并用 PlayCanvas 在网页中呈现。

当前大三巴示范使用原始训练输出：657,492 个高斯点、完整三阶球谐系数、约 155 MB 原始 PLY。默认展示保留原始模型文件；画质设置调整画布分辨率。网页实景使用独立的局部坐标视图。

实现与资源说明：网页高斯预览。

GMVR · 地理感知多视角视觉识别

Geo-aware Multi-view Visual Recognition 是本项目对组合识别流程的描述性名称。

1. 建筑区域检测：YOLO 检测照片中的建筑区域与类别。
2. 具体建筑检索：DINOv2 提取影像特征，与参考照片库比较，返回建筑候选。
3. 地理信息辅助：用户确认位置对应当前照片后，按定位质量启用候选排序；分别保存拍摄者位置与建筑位置。
4. 多照片核验：比较不同角度照片的候选及分差，提示一致、冲突、信息重复或需要复核。
5. 人工确认与归档：确认建筑身份和位置后，将照片保存到对应建筑档案。

位置辅助保留原始影像相似度，定位过期或质量不足时退回图像判断。多照片模块当前采用逐张候选一致性检查与影像分数平均。相似度是检索分数，识别准确率通过独立评测统计。

实现说明：识别工具 · 定位与建筑确认 · 选图与多照片比对。

项目特色与价值

• 从景点导览延伸到日常建筑记录：普通建筑可通过人工定位与永久编号进入档案，记录对象覆盖具有地方特色的街巷空间。
• 围绕具体地点组织资料：建筑编号连接地理位置、实拍照片和后续记录，帮助用户反复访问同一处记忆。
• 用多种信息支持确认：照片特征、位置质量、多角度一致性与人工复核共同参与建筑确认，用户能够查看候选并处理歧义。
• 连接采集、建档与实景展示：选图工具、识别工作台、记忆相册和网页高斯浏览器组成可实际操作的流程。

系统组合与交互流程是本项目的设计工作；YOLO、DINOv2、3DGS 及地图、渲染框架分别来自相关开源项目。

页面入口

页面	用途
index.html	澳门三维地图、记忆点、导航与导览
recognize.html	图片识别、位置确认、多照片比对与建筑档案
gaussian.html	大三巴高斯实景及本地模型实时浏览
capture.html	采集选图与审核工作台
system.html	系统入口与模块导航

本地运行

需要 Git LFS 与 Node.js 24。原始高斯模型及成品视频通过 Git LFS 保存。

git lfs install
git clone https://github.com/Linference/macaumemory.git
cd macaumemory
git lfs pull
npm ci
npm run dev

默认开发地址：http://127.0.0.1:5173。

npm run build
npm run preview

默认构建预览地址：http://127.0.0.1:4173。端口占用时以终端输出为准。

数字人和云端语音

将 .env.example 复制为 .env.local，配置腾讯云语音凭据及对话服务凭据，在独立终端运行：

npm run guide:server

Vite 将 /api/guide/* 转发到本地导览服务。云端语音与对话需要有效服务配置；手机相机、定位与麦克风需要安全上下文及权限。详细步骤见 数字人导览。凭据存放在后端环境变量中，勿提交到 Git。

部署

在线版本：途见 · 澳门文旅记忆系统。

地图、识别工作台和高斯浏览页面可构建为静态文件；云端语音及数字人对话另需后端接口。仓库保留 GitHub Pages 工作流；部署时须确保 Git LFS 模型已取回，并按实际托管环境配置模型资源与同源 API。

项目结构

src/                       地图、导航、导览与相册
src/recognize/             建筑识别、定位、多照片核验、SQLite 档案
src/gaussian/              网页高斯实景浏览
src/collection/            采集选图与审核
server/                    导览服务、腾讯云接口与模型资源服务
public/data/               地图数据、景点、记忆点与参考特征
public/photos/             发布的真实照片与缩略图
public/models/             ONNX 模型与三维资源
public/gaussian/            高斯场景与原始模型
tools/                     数据整理、训练辅助、评测与系统接入工具
docs/                      技术说明、作品报告与成品视频
tests/                     现有回归测试

数据、评测与授权

识别表现以任务和数据范围分别报告。现有参考库留一法结果、受控渲染实验和独立实拍评测具有不同适用范围，具体见 评测说明 与参考库内的评测记录。普通建筑可建档；后续自动识别能力取决于参考照片入库和实际验证。

内容	来源与说明
建筑、道路、设施等地图数据	Overture Maps、OpenStreetMap；保留来源及相应授权标示
地形与高程	Copernicus DEM、OpenTopography、Terrain Tiles；遵循各数据源授权
建筑实拍照片	项目照片资料及开放授权照片；照片记录保留作者、授权和来源
三维重建工作流	MacauSplat，基于 OOOSplat 等开源工具扩展，相关来源及授权见该仓库
网站代码	MIT License；数据、照片、模型及第三方组件遵循各自授权

作品全称：途见--基于3DGS与GMVR的澳门文旅记忆系统。