烟草管控系统分布式存储平台 Hive Tobacco Control · Data Platform

3 节点在线 ONLINE

THESIS RUNTIME / 2024 TRACE 0001 · READY

DISTRIBUTED STORAGE / 论文系统复现

让一次扫码，
成为一条可验证的数据轨迹。从烟盒二维码到 Hive 用户表，浏览器内复现采集、解码、查重、双副本存储与查询。

论文项目中实际拍摄的烟盒二维码扫描样本 — 论文实拍输入`image/jpeg · QR target`

01SCAN烟盒图像
02DECODEOpenCV
03VERIFYSHA-256
04REPLICATEHDFS × 2
05QUERYHive / PyHive

2.9.2 Hadoop 3.1.2 Hive 3 nodes 1 主 2 从

数据链路已连接到当前工作区

DELIVERY CONTRACT把论文链路变成可复核的工作流

角色普通用户 / 管理员

证据图片 → CSV → Hive 表

边界当前会话状态 · 双副本存储

基于Hive的烟草管控系统分布式存储平台设计

进入工作台，亲手完成一次烟草商品扫码登记，并追踪数据如何进入 HDFS 与 Hive。

01选择角色 02扫码登记 03核对 Hive 记录

启动工作会话

LOCAL WORKSPACE STATE

READY

会话数据保存在当前工作区

SESSION / LOCAL STORAGE SHA-256 / WEB CRYPTO NO SERVER WRITE

INGESTApache / PHP DECODEOpenCV VERIFYSHA-256 STOREHDFS × 2 QUERYHive 3.1.2

TRACE 01

论文链路可复核Apache / PHP 接收 → Python / OpenCV 解码 → SHA-256 查重 → HDFS 双副本 → Hive LOAD DATA

角色权限只读集群指标工作区写入

LIVE TELEMETRY · CLUSTER RUNTIME

集群实时遥测

STABLE心跳等待中

ACTIVE NODES3 / 3HDFS · YARN

INGEST RATE12.8 MB/s写入吞吐

QUEUE DEPTH02待处理任务

REPLICATION2×HDFS 副本策略

遥测已准备，登录后开始采样。

全体用户数据 0 Hive 记录

烟草种类 0 按 ID 去重统计

今日扫描 0 按 date 字段聚合

HDFS 活跃节点 3 / 3 节点状态

欢迎使用烟草管控系统

admin

上传烟盒二维码图片完成登记，在“我的扫描”核对个人数据；管理员可查看全局统计、用户目录和三节点状态。所有写入都保留在当前工作区。

个人信息

论文主页功能

用户名: admin
账户类型: 管理员
数据范围: 全量扫描记录

当前会话的证据账本

只读说明

INPUT烟盒二维码图片JPG / PNG / GIF 预览

CHECKCode + SHA-256OpenCV 解码与查重

STOREHDFS × 2 → HiveCSV / LOAD DATA / PyHive

管理台状态、统计数字和写入结果均为本次浏览器会话的可重放数据。

上传烟盒二维码图片

JPG · PNG · GIF / 5 MB

论文数据处理链路

等待图片

1PHP 接收图片格式校验、时间戳命名
2OpenCV 解码Python 识别二维码内容
3哈希查重检查 code 与 hash 是否存在
4CSV 上传 HDFS写入用户独立数据文件
5LOAD DATA 入 Hive字段：id / code / hash / date / user

我的扫描数据

0 条记录烟草种类 0 Hive 查询 0.00s

ID / 烟草名称	Code / 二维码内容	Hash	Date	User	状态

Namenode informationHadoop 2.9.2 · hadoop1

管理台

ACTIVEhttp://192.168.18.128:50070/dfshealth.html#tab-overviewNameNode · hadoop1

Started:	Sun May 26 11:07:48 +0800 2024
Version:	2.9.2, r826afbeae31ca687bc2f8471dc841b66ed2c6704
Compiled:	2018-11-13T12:14Z by root from release-2.9.2
Cluster ID:	CID-cc311286-df01-4af0-81b1-a5e8a7e17652
Block Pool ID:	BP-2028085156-192.168.18.128-1713836792385

Security is off.

Safemode is off.

610 files and directories, 192 blocks = 802 total filesystem object(s).

Configured Capacity:	53.09 GiB
DFS Used:	25.38 MiB (0.05%)
Non DFS Used:	6.12 GiB
DFS Remaining:	46.94 GiB (88.42%)
Block Pool Used:	25.38 MiB (0.05%)
DataNodes usages% (Min/Median/Max/stdDev):	0.04% / 0.05% / 0.07% / 0.01%
	3 (Decommissioned: 0)
Dead Nodes	0 (Decommissioned: 0)
Total Datanode Volume Failures	0 (0 B)
Number of Under-Replicated Blocks	0

In service
Down
Decommissioned

Node	Http Address	Last contact	Last Block Report	Capacity	Blocks	Block pool used	Version
hadoop1	192.168.18.128:50075	1 sec	37 sec	17.70 GiB	64	7.20 MiB (0.04%)	2.9.2
hadoop2	192.168.18.129:50075	2 sec	42 sec	17.70 GiB	64	8.60 MiB (0.05%)	2.9.2
hadoop3	192.168.18.130:50075	2 sec	45 sec	17.69 GiB	64	9.58 MiB (0.07%)	2.9.2

Node	Failed Storage Location	Failure Date	Estimated Capacity Lost
No entries to show.

Path	Snapshot Number	Snapshot Quota	Modification Time	Permission	Owner	Group
`/user/hive/warehouse`	3	65,536	2024-05-26 10:42	drwxrwxr-x	hive	supergroup

hdfs://hadoop1:9000/

Permission	Owner	Group	Size	Replication	Block Size	Name

ResourceManagerHadoop 2.9.2 · hadoop1

管理台

STARTEDhttp://192.168.18.128:8088/cluster/clusterResourceManager · hadoop1

Hadoop

ResourceManager

Logged in as: dr.who

Cluster Metrics

Apps Submitted	Apps Pending	Apps Running	Apps Completed	Containers Running	Memory Used	Memory Total	VCores Used	VCores Total	Active Nodes	Unhealthy Nodes
13	0	1	12	2	2 GiB	24 GiB	2	24	3	0

Cluster Overview

Cluster ID:	1716710801674
ResourceManager state:	STARTED
ResourceManager HA state:	ACTIVE
ResourceManager started on:	Sun May 26 11:06:41 +0800 2024
ResourceManager version:	2.9.2 from 826afbeae31ca687bc2f8471dc841b66ed2c6704
Hadoop common version:	2.9.2
Scheduler type:	Capacity Scheduler

Nodes of the cluster

Node HTTP Address	Rack	State	Node Labels	Containers	Mem Used	Mem Avail	VCores Used	VCores Avail	Version
hadoop1:8042 192.168.18.128	/default-rack	RUNNING	<DEFAULT_PARTITION>	1	1 GiB	7 GiB	1	7	2.9.2
hadoop2:8042 192.168.18.129	/default-rack	RUNNING	<DEFAULT_PARTITION>	1	1 GiB	7 GiB	1	7	2.9.2
hadoop3:8042 192.168.18.130	/default-rack	RUNNING	<DEFAULT_PARTITION>	0	0 B	8 GiB	0	8	2.9.2

Applications

ID	User	Name	Application Type	Queue	StartTime	FinishTime	State	FinalStatus	Progress	Tracking UI
`application_1716710801674_0013`	hive	Hive SQL: tobacco summary	MAPREDUCE	default	10:12:16	N/A	RUNNING	UNDEFINED	68%	ApplicationMaster
`application_1716710801674_0012`	admin	Daily hash verification	MAPREDUCE	default	09:42:02	09:42:51	FINISHED	SUCCEEDED	100%	History
No applications match the selected state.

HiveServer2Apache Hive 3.1.2 · hadoop1

管理台

STARTEDhttp://192.168.18.128:10002/Web UI 10002 · PyHive Thrift 10000

Active Sessions

User Name	IP Address	Operation Count	Active Time (s)	Idle Time (s)
admin	192.168.18.128	1	9,482	8
sutao	192.168.18.131	0	7,024	134
analytics	192.168.18.128	1	5,105	0
Total number of sessions: 3

Open Queries

User Name	Query	Execution Engine	State	Opened Timestamp	Opened (s)	Latency (s)	Drilldown Link
analytics	`SELECT user, COUNT(*) FROM scans GROUP BY user`	mr	RUNNING	Sun May 26 10:02:41 CST 2024	12	Not finished	Drilldown
Total number of queries: 1

Last Max 25 Closed Queries

User Name	Query	Execution Engine	State	Opened (s)	Closed Timestamp	Latency (s)	Drilldown Link
admin	`SELECT id, COUNT(*) FROM sutao GROUP BY id`	mr	FINISHED	2	Sun May 26 09:42:51 CST 2024	1	Drilldown
liuchao	`SELECT * FROM liuchao ORDER BY date DESC LIMIT 20`	mr	FINISHED	1	Sun May 26 09:35:18 CST 2024	0	Drilldown
Total number of queries: 2

Software Attributes

Attribute Name	Value	Description
Hive Version	3.1.2	Hive version and revision
Hive Compiled	2020-08-24, root	When Hive was compiled and by whom
HiveServer2 Start Time	Fri May 24 19:48:12 CST 2024	Date stamp of when this HiveServer2 was started
Thrift Service	hadoop1:10000	PyHive / Beeline connection endpoint

User Name	IP Address	Operation Count	Active Time (s)	Idle Time (s)	Default Database
admin	192.168.18.128	1	9,482	8	tobacco_control
sutao	192.168.18.131	0	7,024	134	tobacco_control
analytics	192.168.18.128	1	5,105	0	default
Total number of sessions: 3

Open Queries

User Name	Query	Execution Engine	State	Opened Timestamp	Latency (s)	Drilldown Link
analytics	`SELECT user, COUNT(*) FROM scans GROUP BY user`	mr	RUNNING	Sun May 26 10:02:41 CST 2024	Not finished	Drilldown

Last Max 25 Closed Queries

User Name	Query	Execution Engine	State	Closed Timestamp	Latency (s)
admin	`SELECT id, COUNT(*) FROM sutao GROUP BY id`	mr	FINISHED	Sun May 26 09:42:51 CST 2024	1
liuchao	`SELECT * FROM liuchao ORDER BY date DESC LIMIT 20`	mr	FINISHED	Sun May 26 09:35:18 CST 2024	0

Read-only query workspace. This panel extends the native HiveServer2 3.1.2 Web UI with a focused query workflow.

查询引擎就绪 · 只读查询

基于Hive的烟草管控系统分布式存储平台设计

分布式数据平台Hadoop / Hive交互工作区

以烟盒二维码为数据入口，把一次现场扫码转换为可去重、可查询、可追溯的分布式监管记录。

系统面向烟草零售用户与监管管理员。论文实现采用 HTML/JavaScript 前端、Apache/PHP 接口和 Python 脚本；OpenCV 解码图片后计算 SHA-256 摘要，经查重的 CSV 文件上传至 HDFS，再通过 PyHive 加载到 Hive 用户表。MySQL 保存 Hive Metastore 元数据。

集群拓扑: hadoop1 / 2 / 3 · 一主二从
存储计算: Hadoop 2.9.2 · Hive 3.1.2
副本策略: HDFS replication = 2
核心字段: id · code · hash · date · user

论文部署环境3 台 VMware 虚拟机Apache / PHP / Python / Hadoop / Hive / MySQL

当前公开展示公开交互工作区展示界面、数据流和权限

论文实现的六项核心功能

普通用户与管理员分权展示

01登录Hive 用户表验证身份

02注册用户名查重并写入 HDFS/Hive

03扫描登记上传图片并识别二维码

04我的扫描按用户名查询个人数据

05统计管理种类、数量与日期图表

06用户管理管理员查看与删除用户

从图片扫码到 Hive 用户表

对应论文 6.5 扫描功能

论文实拍样本

上传烟盒二维码图片

现场采集 / INDEX.HTML 浏览器先预览 JPG、PNG 或 GIF；PHP 以时间戳重命名文件，再调用 check.py。

输入烟盒图片输出HTTPS Code

定位并解码二维码

PYZBAR + OPENCVdecode(image) 读取首个 HTTPS Code

SHA-256code + hash

哈希查重

CHECK_DATA_EXISTS相同 code 或 hash 已存在时阻断写入

CSV 上传 HDFS

INSECURECLIENT.UPLOAD/data/sutao/sutao.csv，双副本分散到节点

写入 Hive 用户表

LOAD DATA INPATHPyHive 连接 userdata.sutao 并加载一行

本次数据 / TRACE 2024-05-04链路就绪

识别结果: 黄金叶（硬红旗渠）
二维码 Code: HTTPS://Y2WM.CN/99.1000.1/AC1016977001HUG9MA95DK9A7FEVZEJJH
SHA-256: 76226b01008bd9dd291c1485190cd0eb0dc1fa9f40201ba98b96404bab05b076
最终位置: hdfs:///data/sutao/sutao.csv → userdata.sutao

论文附件中的关键实现

摘自 index.html 与 check.py，保留原始调用关系

index.html选图后启用提交

<input type="file" name="image"
  accept="image/*" onchange="previewImage()">
<button type="submit" disabled>提交</button>

check.pyOpenCV / pyzbar 与 SHA-256

image = cv2.imread(image_path)
decoded_objects = decode(image)
hash_value = hashlib.sha256(
    data.encode()
).hexdigest()

check.pyHDFS 上传并加载 Hive

client.upload(hdfs_path, local_csv_path,
    overwrite=True)
load_query = f"LOAD DATA INPATH
    '{hdfs_path}' INTO TABLE `{username}`"
cursor.execute(load_query)

论文一主二从三节点

节点状态实时更新

MASTER · 主节点ONLINE

hadoop1

192.168.18.128

NameNode
ResourceManager
HiveServer2
8 GiB / 8 vCores

WORKER · 从节点 01ONLINE

hadoop2

192.168.18.129

DataNode
NodeManager
HDFS Replica
8 GiB / 8 vCores

WORKER · 从节点 02ONLINE

hadoop3

192.168.18.130

DataNode
NodeManager
HDFS Replica
8 GiB / 8 vCores

集群管理入口

三套管理台已接入

NameNode 管理台

HADOOP HDFS 192.168.18.128:50070/dfshealth.html

容量与块状态
DataNode 节点
HDFS 文件浏览

打开 HDFS 控制台

ResourceManager 管理台

HADOOP YARN 192.168.18.128:8088/cluster/cluster

资源调度概览
应用执行状态
NodeManager 节点

打开 YARN 控制台

HiveServer2 管理台

APACHE HIVE 192.168.18.128:10002

会话与查询
数据库和用户表
交互式 HiveQL

打开 Hive 控制台

论文系统数据交互模型

MySQL 用作 Hive 元数据存储

01浏览器界面HTML · JavaScript 02Web 接口Apache · PHP 03数据脚本Python · OpenCV · PyHive 04数据仓库Hive · MySQL Metastore 05分布式存储HDFS · hadoop1/2/3

id烟草名称 / 唯一标识

code二维码 HTTPS 内容

hash完整性与重复校验

dateYYYY-MM-DD HH:MM:SS

user记录所属用户名

论文提出的性能需求

论文设计指标与工作台展示数据分开记录。

≤ 3 秒: 页面加载目标
≤ 5 秒: 数据查询目标
≥ 1000: 并发用户目标
≤ 80%: CPU / 内存利用率目标

烟草种类与日期统计

论文三节点部署拓扑