数据字典DDM：查看DB表结构和字段的，应用开发人员使用的，参考设计时
数据执行：写SQL语句的dml ，数据库人员给开发人员使用，执行语句、线上调试，发现数据问题，技术支持， 数据查看工具。ctrip和gd都有，phpMyAdmin
数据DDL表结构评审和管理：提交给DBA进行审核，一般是ddl语句，一个集审核、执行、备份及生成回滚语句于一身的MySQL自动化运维工具。DBA自己开发的一个工具，给开发人员使用。
====================
- Inception: 去哪儿网开源，提供SQL语句审核、执行、回滚功能 ，2015年
- SQLAdvisor: 美团开源，提供分析SQL中的where条件、聚合条件、多表Join关系，输出索引优化建议，2017年
- SOAR: 小米开源，提供SQL启发式算法的语句优化、多列索引优化等功能，2018年
- =======================
https://github.com/jly8866/archer
https://github.com/cookieY/Yearning
======================
Yearning SQL审核平台
MYSQL web端 SQL审核平台。
Website 官网
Feature 功能
- SQL查询
- 查询工单
- 导出
- 自动补全，智能提示
- 查询语句审计
- SQL审核
- 流程化工单
- SQL语句检测与执行
- SQL回滚
- 历史审核记录
- 推送
- E-mail工单推送
- 钉钉webhook机器人工单推送
- 用户权限及管理
- 拼图式权限划分
- 组合式权限组
- 支持限制邮箱后缀名的有限注册功能
- 其他
- todoList
- LDAP登录
- 动态配置
Install 安装及使用日志
使用及安装文档
=====================
Snapshot 效果展示
- Login
- Dashboard
- 审核
- SQL语法高亮及自动补全
- 查询
- 细粒度的权限分配
- 我的工单
===============================
archer
基于inception的自动化SQL操作平台，支持工单、审核、定时任务、邮件、OSC等功能，还可配置MySQL查询、慢查询管理、会话管理等
目录
- 主要功能
- 设计规范
- 在线体验
- 安装
- docker部署
- 手动安装
- 运行
- 功能集成
- 在线查询&脱敏查询
- 慢日志管理
- SQL优化工具
- 阿里云rds管理
- Q&A
开发语言和推荐环境
1python3.4及以上
2django1.8.17
3mysql : 5.6及以上
4linux : 64位linux操作系统均可
5
6
主要功能
- 自动审核
发起SQL上线，工单提交，由inception自动审核，审核通过后需要由审核人进行人工审核
- 人工审核
inception自动审核通过的工单，由其他研发工程师或研发经理来审核，DBA操作执行SQL
为什么要有人工审核？
这是遵循运维领域线上操作的流程意识，一个工程师要进行线上数据库SQL更新，最好由另外一个工程师来把关
很多时候DBA并不知道SQL的业务含义，所以人工审核最好由其他研发工程师或研发经理来审核. 这是archer的设计理念
- 回滚数据展示
工单内可展示回滚语句，支持一键提交回滚工单
- 定时执行SQL
审核通过的工单可由DBA选择定时执行，执行前可修改执行时间，可随时终止
- pt-osc执行
支持pt-osc执行进度展示，并且可以点击中止pt-osc进程
- MySQL查询
库、表、关键字自动补全
查询结果集限制、查询结果导出、表结构展示、多结果集展示
- MySQL查询权限管理
基于inception解析查询语句，查询权限支持限制到表级
查询权限申请、审核和管理，支持审核流程配置，多级审核
- MySQL查询动态脱敏
基于inception解析查询语句，配合脱敏字段配置、脱敏规则(正则表达式)实现敏感数据动态脱敏
- 慢日志管理
基于percona-toolkit的pt_query_digest分析和存储慢日志，并在web端展现
- 邮件通知
可配置邮件提醒，对上线申请、权限申请、审核结果等进行通知
对异常登录进行通知
设计规范
- 合理的数据库设计和规范很有必要，尤其是MySQL数据库，内核没有oracle、db2、SQL Server等数据库这么强大，需要合理设计，扬长避短。互联网业界有成熟的MySQL设计规范，特此撰写如下。请读者在公司上线使用archer系统之前由专业DBA给所有后端开发人员培训一下此规范，做到知其然且知其所以然。
下载链接 https://github.com/jly8866/archer/blob/master/src/docs/mysql_db_design_guide.md
主要配置文件
- archer/archer/settings.py
采取docker部署
- docker镜像，参考wiki
- inception镜像: https://hub.docker.com/r/hhyo/inception
- archer镜像: https://hub.docker.com/r/hhyo/archer
- docker镜像制作感谢@小圈圈 提供
手动安装步骤
- 环境准备
- 克隆代码到本地或者下载zip包
git clone https://github.com/jly8866/archer.git
- 安装inception
项目地址
- 安装python3，版本号>=3.4(由于需要修改官方模块，请使用virtualenv或venv等单独隔离环境！)
1pip3 install virtualenv
2virtualenv venv4archer --python=python3.4
3
4
- 安装所需相关模块
1source venv4archer/bin/activate
2pip3 install -r requirements.txt
3
4
- pymysql模块兼容inception版本信息
使用src/docker/pymysql目录下的文件替换/path/to/python3/lib/python3.4/site-packages/pymysql/对应文件
启动前准备
- 创建archer本身的数据库表
- 修改archer/archer/settings.py所有的地址信息，包括DATABASES和INCEPTION_XXX部分
- 通过model创建archer本身的数据库表，如果是现有版本升级请使用src/init_sql内的变更脚本变更数据库
原v1.1.1分支请使用v1.1.1->v2.0.sql变更
原master分支请使用master->v2.0.sql变更
全新安装请使用如下方式初始化
1python3 manage.py makemigrations sql
2python3 manage.py migrate
3
4
- 创建admin系统root用户（该用户可以登录django admin来管理model）
python3 manage.py createsuperuser
- 启动，有两种方式
(1)用django内置runserver启动服务，建议不要在生产环境使用
bash debug.sh
(2)用gunicorn+nginx启动服务
安装模块pip3 install gunicorn==19.7.1
nginx配置示例
1server{
2 listen 9123; #监听的端口
3 server_name archer;
4 proxy_read_timeout 600s; #超时时间与gunicorn超时时间设置一致，主要用于在线查询
5
6 location / {
7 proxy_pass http://127.0.0.1:8888;
8 proxy_set_header Host $host:9123; #解决重定向404的问题
9 proxy_set_header X-Real-IP $remote_addr;
10 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
11 proxy_set_header X-Forwarded-Proto $scheme;
12 }
13
14 location /static {
15 alias /archer/static; #此处指向settings.py配置项STATIC_ROOT目录的绝对路径，用于nginx收集静态资源
16 }
17
18 error_page 404 /404.html;
19 location = /40x.html {
20 }
21
22 error_page 500 502 503 504 /50x.html;
23 location = /50x.html {
24 }
25 }
26
27
1 启动 bash startup.sh
2
- 正式访问
使用上面创建的管理员账号登录http://X.X.X.X:port/login/
其他功能集成
在线查询
- settings中QUERY改为True
- 到【后台数据管理】-【从库地址配置】页面添加从库信息
- 到【后台数据管理】-【工作流配置】页面配置审核流程
- 用户申请权限、审核通过后即可进行在线查询
- 如需要使用动态脱敏，请将settings中DATA_MASKING_ON_OFF改为True，并且到【后台数据管理】-【脱敏配置】页面配置脱敏规则和字段
慢日志管理
- settings中SLOWQUERY改为True
- 安装percona-toolkit（版本=3.0.6），以centos为例
1yum -y install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm
2yum -y install percona-toolkit.x86_64
3
4
- 使用src/script/mysql_slow_query_review.sql创建慢日志收集表到archer数据库
- 将src/script/analysis_slow_query.sh部署到各个监控机器，注意修改脚本里面的 hostname=”${mysql_host}:${mysql_port}”与archer主库配置信息一致，否则将无法筛选到相关记录
SQLAdvisor优化工具
- 安装SQLAdvisor，项目地址
- 修改配置文件SQLADVISOR为程序路径，路径需要完整，如’/opt/SQLAdvisor/sqladvisor/sqladvisor’
阿里云rds管理
- 修改配置文件ALIYUN_RDS_MANAGE=True
- 安装模块
1pip3 install aliyun-python-sdk-core==2.3.5
2pip3 install aliyun-python-sdk-core-v3==2.5.3
3pip3 install aliyun-python-sdk-rds==2.1.1
4
5
- 在【后台数据管理】-【阿里云认证信息】页面，添加阿里云账号的accesskey信息，重新启动服务
- 在【后台数据管理】-【阿里云rds配置】页面，添加实例信息，即可实现对阿里云rds的进程管理、慢日志管理
admin后台加固，防暴力破解
- patch目录下，名称为django_1.8.17_admin_secure_archer.patch
- 使用命令
1patch python/site-packages/django/contrib/auth/views.py django_1.8.17_admin_secure_archer.patch
2
3
集成ldap
- 修改配置文件ENABLE_LDAP=True，安装相关模块，可以启用ldap账号登录，以centos为例
1yum install openldap-devel
2pip install django-auth-ldap==1.3.0
3
4
- 如果使用了ldaps，并且是自签名证书，需要打开settings中AUTH_LDAP_GLOBAL_OPTIONS的注释
- settings中以AUTH_LDAP开头的配置，需要根据自己的ldap对应修改
系统体验
点击体验
管理员 archer archer 工程师 engineer archer 审核人 auditor archer DBA dba archer
部分问题解决办法
查看错误日志
/tmp/default.log & /tmp/archer.err
页面样式显示异常
- runserver/debug.sh启动
settings里面关闭了debug，即DEBUG = False，需要在启动命令后面增加 –insecure，变成
- nginx+gunicorn/startup.sh启动
nginx的静态资源配置不正确
1location /static {
2 alias /archer/static; #此处指向settings.py配置项STATIC_ROOT目录的绝对路径，用于nginx收集静态资源，一般默认为archer按照目录下的static目录
3 }
4
5
用户管理
- 偶现添加用户报错
采用nginx+gunicorn/startup.sh启动，多worker的部署可能出现，目前问题没有解决
- 无法登录（确认用户名和密码正确）
检查用户is_active字段是否为1
SQL上线
- 集群不显示数据库
archer会默认过滤一些系统数据库，过滤列表为’information_schema’, ‘performance_schema’, ‘mysql’, ‘test’, ‘sys’
- 审核人不显示
没有为审核人/DBA角色的有效用户
- 审核通过后没有执行按钮
archer的SQL上线流程为：工程师提交SQL->审核人审核->DBA执行，审核人只能审核归属自己审核的数据，DBA执行全部数据
检测SQL报错
- invalid literal for int() with base 10:’Inception2′
调整pymysql使其兼容Inception版本信息，
使用src/docker/pymysql目录下的文件替换/path/to/python3/lib/python3.4/site-packages/pymysql/目录下的文件
- invalid source infomation
inception用来审核的账号，密码不能包含*
- Must start as begin statement
python3的pymysql模块会向inception发送SHOW WARNINGS语句，导致inception返回一个”Must start as begin statement”错误被archer捕捉到报在日志里
使用src/docker/pymysql目录下的文件替换/path/to/python3/lib/python3.4/site-packages/pymysql/目录下的文件
- Incorrect database name ”
inception检查不支持子查询
- Invalid remote backup information
inception无法连接备份库
无法生成回滚语句
- 检查配置文件里面inception相关配置
- 检查inception审核用户和备份用户权限，权限参考
1— inception备份用户
2GRANT SELECT, INSERT, CREATE ON *.* TO 'inception_bak'
3— inception审核用户（主库配置用户，如果要使用会话管理需要赋予SUPER权限，如果需要使用OSC，请额外配置权限）
4GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, ALTER,REPLICATION CLIENT,REPLICATION SLAVE ON *.* TO 'inception'
5— archer在线查询用户（从库配置用户）
6GRANT SELECT ON *.* TO 'archer_read'
7
8
- 检查binlog格式，需要为ROW，binlog_row_image为FULL
- 检查DML的表是否存在主键
- 检查语句是否有影响数据
- 检查备份库是否开启autocommit
- 检查是否为连表更新语句
- 检查执行实例是否为mysql
脱敏规则未生效
- 检查脱敏字段是否命中（是否区分大小写）
- 检查脱敏规则的正则表达式是否可以匹配到数据，无法匹配的会返回原结果
- 检查是否关闭了CHECK_QUERY_ON_OFF参数，导致inception无法解析的语句未脱敏直接返回结果
脱敏规则配置参考
手机号 (.{3})(.)(.{4}) 2 保留前三后四 证件号码 (.)(.{4})$ 2 隐藏后四位 银行卡 (.)(.{4})$ 2 隐藏后四位 邮箱 (.)@(.*) 2 去除后缀
审核人看不到查询权限申请待审核工单
查询权限申请待办列表被隐藏至右上角的消息图标中，当有待审核信息时会显示图标，可以进入查看待办数据
慢日志不显示
- 检查脚本内的配置，hostname和archer主库配置内容保持一致，用于archer做筛选
- 检查mysql_slow_query_review_history表收集的日志信息hostname_max是否和hostname一致
定时任务未执行
- 检查django-apscheduler相关表是否有创建，可使用python3 manage.py migrate创建
联系方式
QQ群524233225
======================
See SQL审核平台
See SQL审核平台
API集成
- Inception: 去哪儿网开源，提供SQL语句审核、执行、回滚功能
- SQLAdvisor: 美团开源，提供分析SQL中的where条件、聚合条件、多表Join关系，输出索引优化建议
- SOAR: 小米开源，提供SQL启发式算法的语句优化、多列索引优化等功能
功能简介
- 目标库管理
- 支持多场地/数据中心的数据库管理，集群方式归纳目标数据库
- 支持目标数据库配置，库/表结构查询
- SQL操作
- 基于Inception
- SQL语法检测
- SQL语句执行
- SQL回滚
- 定时工单
- 历史记录
- SQL查询
- 查询目标数据库的详细表结构
- 查询表数据，对结果可导出文件
- SQL语句优化（基于美团SQLAdvisor）
- 多层次优化建议（基于小米SOAR）
- 用户管理
- 对用户/组的注册/注销/加组/授权等管理
- 个性化设置
- 管理员可以做SQL关键字拦截，平台的审批功能开关等设置
- 用户可以订阅其常用的数据库，指定审批工单的经理，以简化审核时所需的操作
- inception设置
- inception服务连接信息
- inception备份库连接信息
- inception支持的参数释义及值
- 人工审批功能
- 流程开关
- 开启流程，工单至少需双人确认（流程：提交人 — inception自动审核 — 经理审批 — DBA上线）
- 关闭流程，工单可由经理上线（流程：提交人 — inception自动审核 — 经理上线）
- 用户权限
- 基于RBAC的表级，对象级权限控制体系
- 通过用户管理设置用户权限
- 根据用户身份（组员/经理/总监）鉴权用户对SQL的审核/取消/执行/回滚等操作
- 操作流程
- 用户需要输入SQL，指定环境，执行人，数据库
- inception自动审核SQL语法
- 审批人做审批通过或驳回操作
- 执行人做执行/撤销/回滚等操作
- SQL列表界面提供SQL查询，操作等相关功能
- API文档
- 各接口生成自动化的API文档，对接外部需求
- 登录
- 支持see系统登录
- 支持自定义公司统一认证中心(sso)登录
- 通知
- E-mail邮件推送
- 其他
- DashBoard数据报表展示
环境
- Python 3.6
- Django 2.0
- Django Rest Framework 3.8
- Vue.js 2.9
- iview 2.8
- iview-admin 1.3
平台使用
- 在线访问 (下表为登录的用户/密码)
武松 see 宋江 see
安装文档
- 安装文档
界面展示
- 邮件提醒
- SQL查询
- 工单审核
- 工单详情 1
- 工单详情 2
- 工单详情 3
- 工单列表
- 平台设置
- 用户管理
- Dashboard审计
- 随机文章
标签云集
-
网页设计
前端开发
设计灵感
交互设计
MySQL小知识
golang小技巧
iphone x
docker命令
移动端识别
JavaScript小技巧
docker
logo
mysql
css
jupyter
PHP小技巧
adobe
大数据可视化
react
APP UI设计
mysql优化
javascript
树莓派
docker的使用
ios
python插件
android
页面设计
webpack
设计教程
linux
nginx
vue小技巧
分布式
APP设计参考
python
Java
数据库
Redis
图标设计
app设计
zabbix
前端技术
ui设计
php
vue
swoole
k8s
docker小技巧
electron开发
