之前学习过docker,但是很浅显的使用,概念和流程各个方面总结的不够到位,下面根据旧版本的文档,重新的梳理。
一、docker出现的契机
作为开发人员,我们经常会遇到一个问题,那就是环境不统一的问题。什么意思呢?自己在本地测试的项目是运行正常的,但是打包给测试或者运维人员部署使用时,经常会出现,部署报错,运行不起来,等等问题。就算是再详细的部署文档也还是会出错。
这个时候就产生了大量沟通的成本,通常产生这些问题的原因是部署的环境并不是开发人员的那一份环境,可能是jdk版本或者tomcat版本,数据库等等环境产生的问题。所以就需要我们开发人员打包一份连同环境和配置以及项目,交付给测试或者运维。这样就能够保证项目运行环境的一致性,也容易排查问题。这个就是docker的雏形
就好比我们在迁移一棵树的时候,尾部,总是会保留着一些原先的土,就是为了解决生长环境的不同额度适配问题。
Docker之所以发展如此迅速,也是因为它对此给出了一个标准化的解决方案。
环境配置如此麻烦,换一台机器,就要重来一次,费力费时。很多人想到,能不能从根本上解决问题,软件可以带环境安装?也就是说,安装的时候,把原始环境一模一样地复制过来。开发人员利用 Docker 可以消除协作编码时“在我的机器上可正常工作”的问题。
*总的来说,以前我们是通过提交**war**包的方式,那么现在是连同**war***运行的环境***一起打包给测试或者运维。*
传统上认为,软件编码开发/测试结束后,所产出的成果即是程序或是能够编译执行的二进制字节码等(java为例)。而为了让这些程序可以顺利执行,开发团队也得准备完整的部署文件,让维运团队得以部署应用程式,开发需要清楚的告诉运维部署团队,用的全部配置文件+所有软件环境。不过,即便如此,仍然常常发生部署失败的状况。Docker镜像的设计,使得Docker得以打破过去「程序即应用」的观念。透过镜像(images)将作业系统核心除外,运作应用程式所需要的系统环境,由下而上打包,达到应用程式跨平台间(类似于jvm的理念)的无缝接轨运作。
1.1 理念
Docker是基于Go语言实现的云开源项目。
Docker的主要目标是“Build,Ship and Run Any App,Anywhere”,也就是通过对应用组件的封装、分发、部署、运行等生命周期的管理,使用户的APP(可以是一个WEB应用或数据库应用等等)及其运行环境能够做到“一次封装,到处运行”。
Linux 容器技术的出现就解决了这样一个问题,而 Docker 就是在它的基础上发展过来的。将应用运行在 Docker 容器上面,而 Docker 容器在任何操作系统上都是一致的,这就实现了跨平台、跨服务器。只需要一次配置好环境,换到别的机子上就可以一键部署好,大大简化了操作
也就是说,我们可以把项目运行成功所需要的环境(redis,nginx,mysql)等等组件,通过编译打包的形式,打包成一个个的货仓。
项目部署到其他环境时(windowsàlinux)只需要运行这些货仓就可以安装这些环境,做到一次封装到处运行,解决了因为环境不同导致app部署或运行失败的问题
docker的logo就阐述了这一理念,部署项目的时候直接搬运已经测试成功的app运行环境。
**特别是在多集群的环境下,docker的作用更显而易见(避免多次安装环境)**
总的来说:解决了运行环境和配置问题软件容器(每个容器对应着一个集装箱,每个集装箱对应着项目运行所需的软件或者配置),方便做持续集成并有助于整体发布的容器虚拟化技术。
二、docker的演化
2.1 虚拟机技术
一个虚拟机的结构图
虚拟机(virtual machine)就是带环境安装的一种解决方案。
带环境安装的意思是:它里面模拟了一个正常的操作系统所具备的各种环境和配置(内存、处理器、硬盘。。。。)
它可以在一种操作系统里面运行另一种操作系统,比如在Windows 系统里面运行Linux 系统。应用程序对此毫无感知,因为虚拟机看上去跟真实系统一模一样,而对于底层系统来说,虚拟机就是一个普通文件,不需要了就删掉,对其他部分毫无影响。这类虚拟机完美的运行了另一套系统,能够使应用程序,操作系统和硬件三者之间的逻辑不变。
缺点:
\1. 启动很慢
\2. 资源占用多
\3. 冗余步骤多
所以docker在这之上就演化出了 容器虚拟化技术
2.2 容器虚拟化技术
由于前面虚拟机存在这些缺点,Linux 发展出了另一种虚拟化技术:Linux 容器(Linux Containers,缩写为 LXC)。
Linux 容器不是模拟一个完整的操作系统,而是对进程进行隔离。有了容器,就可以将软件运行所需的所有资源打包到一个隔离的容器中。容器与虚拟机不同,不需要捆绑一整套操作系统,只需要软件工作所需的库资源和设置。系统因此而变得高效轻量并保证部署在任何环境中的软件都能始终如一地运行。
相比虚拟机技术的系统结构图,很明显发现,公用库api模块被移除。各个app维护自己的所依赖的api模块。好处就是,节省了资源的占用。
2.3 总结不同
比较了 Docker 和传统虚拟化方式的不同之处:
\1. 传统虚拟机技术是虚拟出一套硬件后,在其上运行一个完整操作系统,在该系统上再运行所需应用进程
\2. 而容器内的应用进程直接运行于宿主的内核,容器内没有自己的内核,而且也没有进行硬件虚拟。因此容器要比传统虚拟机更为轻便。
\3. 每个容器之间互相隔离,每个容器有自己的文件系统 ,容器之间进程不会相互影响,能区分计算资源。
4. Linux虚拟机安装包可能需要4G,但是docker只需要170M。很明显这是一个很大的提升,换句话说,docker就是一个精细版的linux虚拟机
三、docker的好处
一次构建、随处运行
更快速的应用交付和部署
更便捷的升级和扩缩容
更简单的系统运维
更高效的计算资源利用
四、安装和下载
docker官网:http://www.docker.com
docker中文网站: https://www.docker-cn.com/
Docker Hub官网: https://hub.docker.com/
Docker
分为 CE
和 EE
两大版本。 CE
即社区版(免费,支持周期 7
个月), EE
即企业版,强调安全,付费使用,支持周期 24
个月。下面安装的是CE版本。
4.1 docker安装前提条件
Docker支持以下的CentOS版本:CentOS 7 (64-bit)
CentOS 6.5 (64-bit) 或更高的版本
目前,CentOS 仅发行版本中的内核支持 Docker。
Docker 运行在 CentOS 7 上,要求系统为64位、系统内核版本为 3.10 以上。
Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上,要求系统为64位、系统内核版本为 2.6.32-431 或者更高版本。
为了避免我们后面启动tomcat 容器做测试的时候,外部浏览器访问tomcat容器时,端口被拦截。这里先关闭虚拟机的防火墙
service firewalld status ;查看防火墙状态
service firewalld stop:关闭防火墙
查看自己linux 内核
uname命令用于打印当前系统相关信息(内核版本号、硬件架构、主机名称和操作系统类型等)。
查看已安装的CentOS版本信息(CentOS6.8有,CentOS7无该命令)
另一种方式查询
4.2 docker安装
一下安装是使用yum命令进行安装,所以linux虚拟机需要能够连接互联网
官方手册:
https://docs.docker-cn.com/engine/installation/linux/docker-ce/centos/#prerequisites
CentOS6.8安装Docker
\1. yum install -y epel-release
使用root用户执行改命令。
Docker使用EPEL发布,RHEL系的OS首先要确保已经持有EPEL仓库,否则先检查OS的版本,然后安装相应的EPEL包
\2. yum install -y docker-io
发现这个命令在centos6.10 版本时,提示docker包找不到,于是花了另一命令:yum –y install docker 安装成功
\3. 安装后的配置文件:/etc/sysconfig/docker
\4. 启动Docker后台服务:service docker start
5.docker version验证
CentOS7以上安装Docker(本人使用的版本)-推荐
下面使用仓库的方式进行安装docker-ce
\1. cat /etc/redhat-release
命令查看centos版本
\2. yum安装gcc相关
执行以下两条命令
yum -y install gcc
yum -y install gcc-c++
3.卸载老版本(如果之前没有装过,可以忽略这一步)
注意看官网的操作手册,里面有着一段命令。
|
$ sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-engine
\4. 安装需要的软件包
yum install -y yum-utils device-mapper-persistent-data lvm2
\5. 设置stable镜像仓库
执行命令:
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
注意这里使用的是阿里的镜像仓库,不要使用官网推荐的仓库
yum-config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.repo 不能使用这条命令
\6. 更新yum软件包索引
yum makecache fast
\7. 安装DOCKER CE
yum -y install docker-ce
\8. 启动docker
systemctl start docker
\9. 测试
docker version :查看docker版本
docker pull hello-world(从阿里云仓库中获取hello-world镜像)
docker run hello-world (要先下载hello-world镜像后才能够运行)
10.卸载
执行以下三条命令:
systemctl stop docker
yum -y remove docker-ce
rm -rf /var/lib/docker
4.3阿里云镜像加速
因为docker官网提供的获取镜像地址(hub.docker),访问速度太过缓慢,这里改换成阿里云的镜像服务。
\1. 登录阿里云
https://www.aliyun.com/ 进入管理中心
\2. 搜索容器镜像服务
可以看到镜像加速器
获得加速器地址连接
\3. 配置本机Docker运行镜像加速器
Centos6.8版本设置:
- vim /etc/sysconfig/docker 将获得的自己账户下的阿里云加速地址配置进 other_args=”–registry-mirror=https://你自己的账号加速信息.mirror.aliyuncs.com“
Centos7.6版本设置:
sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-‘EOF’ { “registry-mirrors”: [“https://sk6o0yc78m.mirror.aliyuncs.com“] } EOF sudo systemctl daemon-reload sudo systemctl restart docker
Centos7以上的配置文件时:/etc/docker/daemon.json
4.检查配置是否生效
Centos6.8 检查命令:
启动docker,执行命令 ps –ef| grep docker
Centos7.6检查命令:
4.4 设置docker开机启动
systemctl enable docker
五、docker组成和分析
5.1 Docker组成
镜像(image)
Docker 镜像(Image)就是一个只读的模板。镜像可以用来创建 Docker 容器,一个镜像可以创建很多容器。
一个类可以new多个对象。
镜像是一种轻量级、可执行的独立软件包,用来打包软件运行环境和基于运行环境开发的软件,它包含运行某个软件所需的所有内容,包括代码、运行时、库、环境变量和配置文件。
UnionFS(联合文件系统)
UnionFS(联合文件系统):Union文件系统(UnionFS)是一种分层、轻量级并且高性能的文件系统,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem)。Union 文件系统是 Docker 镜像的基础。镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
跟花卷一样,一层一层的
特性:一次同时加载多个文件系统,但从外面看起来,只能看到一个文件系统,联合加载会把各层文件系统叠加起来,这样最终的文件系统会包含所有底层的文件和目录
Docker镜像加载原理
Docker镜像加载原理:
docker的镜像实际上由一层一层的文件系统组成,这种层级的文件系统UnionFS。
bootfs(boot file system)主要包含bootloader和kernel, bootloader主要是引导加载kernel, Linux刚启动时会加载bootfs文件系统,在Docker镜像的最底层是bootfs。这一层与我们典型的Linux/Unix系统是一样的,包含boot加载器和内核。当boot加载完成之后整个内核就都在内存中了,此时内存的使用权已由bootfs转交给内核,此时系统也会卸载bootfs。
rootfs (root file system) ,在bootfs之上。包含的就是典型 Linux 系统中的 /dev, /proc, /bin, /etc 等标准目录和文件。rootfs就是各种不同的操作系统发行版,比如Ubuntu,Centos等等。
平时我们安装进虚拟机的CentOS都是好几个G,为什么docker这里才200M??
对于一个精简的OS,rootfs可以很小,只需要包括最基本的命令、工具和程序库就可以了,因为底层直接用Host(宿主机)的kernel,自己只需要提供 rootfs 就行了。由此可见对于不同的linux发行版, bootfs基本是一致的, rootfs会有差别, 因此不同的发行版可以公用bootfs。
分层的镜像
以我们的pull为例,在下载的过程中我们可以看到docker的镜像好像是在一层一层的在下载
有多个complete,说明有多个层次
为什么 Docker 镜像要采用这种分层结构呢
最大的一个好处就是 - 共享资源
比如:有多个镜像都从相同的 base 镜像构建而来,那么宿主机只需在磁盘上保存一份base镜像,
同时内存中也只需加载一份 base 镜像,就可以为所有容器服务了。而且镜像的每一层都可以被共享。
特点
Docker镜像都是只读的
当容器启动时,一个新的可写层被加载到镜像的顶部。
这一层通常被称作“容器层”,“容器层”之下的都叫“镜像层”。
容器(container)鲸鱼背上的集装箱
Docker 利用容器(Container)独立运行的一个或一组应用。容器是用镜像创建的运行实例。
它可以被启动、开始、停止、删除。每个容器都是相互隔离的、保证安全的平台。
可以把容器看做是一个简易版的 Linux 环境(包括root用户权限、进程空间、用户空间和网络空间等)和运行在其中的应用程序。
容器的定义和镜像几乎一模一样,也是一堆层的统一视角,唯一区别在于容器的最上面那一层是可读可写的。
即是:容器=镜像+可读写层
仓库(repository)
仓库(Repository)是集中存放镜像文件的场所。
仓库(Repository)和仓库注册服务器(Registry)是有区别的。仓库注册服务器上往往存放着多个仓库,每个仓库中又包含了多个镜像,每个镜像有不同的标签(tag)。
仓库分为公开仓库(Public)和私有仓库(Private)两种形式。
最大的公开仓库是 Docker Hub(https://hub.docker.com/),
存放了数量庞大的镜像供用户下载。国内的公开仓库包括阿里云 、网易云 等
总结
需要正确的理解仓储/镜像/容器这几个概念:
Docker 本身是一个容器运行载体或称之为管理引擎。我们把应用程序和配置依赖打包好形成一个可交付的运行环境,这个打包好的运行环境就似乎 image镜像文件。只有通过这个镜像文件才能生成 Docker 容器。image 文件可以看作是容器的模板。Docker 根据 image 文件生成容器的实例。同一个 image 文件,可以生成多个同时运行的容器实例。
\1. image 文件生成的容器实例,本身也是一个文件,称为镜像文件。
\2. 一个容器运行一种服务,当我们需要的时候,就可以通过docker客户端创建一个对应的运行实例,也就是我们的容器
\3. 至于仓储,就是放了一堆镜像的地方,我们可以把镜像发布到仓储中,需要的时候从仓储中拉下来就可以了。
总结:仓库存放着很多镜像,通过使用镜像可以生成多个容器
5.2 Docker运行流程
Docker 使用 C/S 结构,即客户端/服务器体系结构。 Docker 客户端与 Docker 服务器进行交互,Docker服务端负责构建、运行和分发 Docker 镜像。 Docker 客户端和服务端可以运行在一台机器上,也可以通过 RESTful 、 stock 或网络接口与远程 Docker 服务端进行通信。
执行docker run hello-world
这个例子在上面我们已经使用过了,对照docker结构图我们来分析
Client:客户端就是我们的linux的命令窗口,也就是执行docker run hello-world的地方
Docker-host: docker主机,也就是执行客户端发出请求的地方,也就是我们启动的docker进程。收到一个执行hello-world容器的命令,现在本地种查找是否存在这个容器(镜像),存在则直接运行。不存在,则在Repository中取(上面我们配置了阿里云镜像仓库),pull镜像后放到本地,然后新建一个容器执行这个hello-world镜像。
Repository::仓库,存放镜像的地方
下次执行docker run hello-world,则会从本地中拿hello-world镜像,然后新建容器执行。
完整流程如图:
六、docker常用操作命令
6.1 帮助命令
docker version
docker info
能够查看更详细的docker信息,比docker version命令更加详细
docker –help
6.2 镜像命令
6.2.1 docker images
列出本地主机上的镜像
各个选项说明:
REPOSITORY:表示镜像的仓库源 TAG:镜像 标签 IMAGE ID:镜像ID CREATED:镜像创建时间 SIZE:镜像大小
同一仓库源可以有多个 TAG,代表这个仓库源的不同个版本,我们使用 REPOSITORY:TAG 来定义不同的镜像。
如果你不指定一个镜像的版本标签,例如你只使用 redis,docker 将默认使用 redis:latest镜像
OPTIONS说明: -a :列出本地所有的镜像(含中间映像层) -q :只显示镜像ID。 –digests :显示镜像的摘要信息 –no-trunc :显示完整的镜像信息
6.2.2 docker search 某个XXX镜像名字
需要注意,查询是从网站 https://hub.docker.com上进行查询,拉取镜像的时候是从阿里云上拉取
命令: docker search [OPTIONS] 镜像名字
OPTIONS说明:
–no-trunc : 显示完整的镜像描述
-s : 列出收藏数不小于指定值的镜像。(就是下面的STARS数)
–automated : 只列出 automated build类型的镜像;
6.2.3 docker pull 某个XXX镜像名字
下载镜像
命令:ker pull 镜像名字[:TAG] (如果不指明标签默认下载最新版本)
6.2.4 docker rmi 某个XXX镜像名字ID
删除镜像
删除单个:
docker rmi -f 镜像ID (不指明标签默认删除latest)
docker rmi -f 镜像名称 (不指明标签默认删除latest)
删除多个:docker rmi -f 镜像名1:TAG 镜像名2:TAG
删除全部:ocker rmi -f $(docker images -qa) (docker images –qa 查询当前docker中所有镜像id)
6.3容器命令
6.3.1有镜像才能创建容器,这是根本前提(下载一个CentOS镜像演示)
docker pull centos
所以说可以把容器看做是一个简易版的 Linux 环境
6.3.2新建并启动容器
docker run [OPTIONS] IMAGE [COMMAND] [ARG…]
OPTIONS说明
OPTIONS说明(常用):有些是一个减号,有些是两个减号
–name=”容器新名字”: 为容器指定一个名称;
-d: 后台运行容器,并返回容器ID,也即启动守护式容器;
-i:以交互模式运行容器,通常与 -t 同时使用;
-t:为容器重新分配一个伪输入终端,通常与 -i 同时使用;
-P: 随机端口映射;
-p: 指定端口映射,有以下四种格式
ip:hostPort:containerPort
ip::containerPort
hostPort:containerPort
containerPort
下面运行6.3.1中下载的centos
启动交互式容器(跟下面我们所说的启动守护式容器有区别)
#使用镜像centos:latest以交互模式启动一个容器,在容器内执行/bin/bash命令。
docker run -it centos /bin/bash 等同于 docker run -it centos
案例演示
1.从Hub上下载tomcat镜像到本地并成功运行
(1)docker pull tomcat
(2)docker run -it -p 8088:8080 tomcat
运行tomcat,第一个端口8088表示docker对外暴露访问内部tomcat的端口,映射内部tomcat 的8080端口,什么意思呢?
查看运行的容器
访问tomcat成功,直接访问http://49.234.188.74:8080/ 失败,因为我们知道,tomcat 是docker运行的一个容器,所以需要docker对外暴露后才能够访问。
(3)使用-P 不指名端口的方式运行tomcat
很明显使用大P的方式启动tomcat,docker会随机分配一个对外暴露的端口
6.3.3列出当前所有正在运行的容器
docker ps [OPTIONS]
OPTIONS说明(常用):
-a :列出当前所有正在运行的容器+历史上运行过的
-l :显示最近创建的容器。
-n:显示最近n个创建的容器。
-q :静默模式,只显示容器编号。
–no-trunc :不截断输出。
查看6.3.2 运行的centos
6.3.4退出容器
exit
容器停止退出,销毁容器。注意,容器内的数据也会一并消失,类似java的对象,close销毁后就不会存在了。
ctrl+P+Q
容器不停止退出,回到宿主机。(那么怎么回到容器呢?-请看下面补充章节的第五小点)
6.3.5启动容器
docker start 容器ID或者容器名 (可以启动已经关闭的容器)(docker ps –l 查看最近运行过得容器)
6.3.6重启容器
docker restart 容器ID或者容器名
6.3.7停止容器
docker stop 容器ID或者容器名
6.3.8强制停止容器
docker kill 容器ID或者容器名
6.3.9删除已停止的容器
docker rm 容器ID
一次性删除多个容器(下面两种方式)
docker rm -f $(docker ps -a -q)
docker ps -a -q | xargs docker rm
6.3.10 迁移与备份
补充
启动守护式容器
命令:docker run -d 容器名
docker run -d centos 问题:然后docker ps -a 进行查看, 会发现容器已经退出,也就是说没有刚才我们启动的容器 很重要的要说明的一点: Docker**容器后台运行,就必须有一个前台进程**. 容器运行的命令如果不是那些一直挂起的命令(比如运行**top,tail**),就是会自动退出的。 这个是docker的机制问题,比如你的web容器,我们以nginx为例,正常情况下,我们配置启动服务只需要启动响应的service即可。例如 service nginx start 但是,这样做,nginx为后台进程模式运行,就导致docker前台没有运行的应用, 这样的容器后台启动后,会立即自杀因为他觉得他没事可做了. 所以,最佳的解决方案是,将你要运行的程序以前台进程的形式运行
查看容器日志
命令:docker logs -f -t –tail 容器ID
参数解析:
* -t 是加入时间戳
* -f 跟随最新的日志打印
* –tail 数字 显示最后多少条
例子:
启动守护式容器(因为存在前台程序一直循环输出,那么他就不会退出)
docker run -d centos /bin/sh -c “while true;do echo hello kingge;sleep 2;done”
查看容器内运行的进程
docker top 容器ID
返回的信息时,上个例子中启动的守护式容器
查看容器内部细节
docker inspect 容器ID
返回一个json串的描述格式
进入正在运行的容器并以命令行交互
回到以ctrl+p+q的方式退出的容器中
第一种方式:
使用命令:docker exec -it 容器ID bashShell (后面必须携带bash指令)
登录操作
效果等同
例子2:
打印后台启动的centos容器的根目录的消息,我们发现,他并没有进入后台的容器,只是把容器执行的指令的结果输出到宿主。所以他的功能是比docker attach指令还要强大的
第二种方式:
docker attach 容器ID
两种方式的区别:
attach 直接进入容器启动命令的终端,不会启动新的进程
exec 是在容器中打开新的终端,并且可以启动新的进程
从容器内拷贝文件到主机上
宿主机上执行
docker cp 容器ID:容器内路径 目的主机路径
Docker镜像commit
\1. commit提交容器副本使之成为一个新的镜像
docker commit -m=“提交的描述信息” -a=“作者” 容器ID 要创建的目标镜像名:[标签名]
案例演示
1.删除运行的tomcat 的文档模块,然后提交为新的镜像
这个时候再来访问tomcat容器的docs文档模块,肯定是404.
\2. 也即当前的tomcat运行实例是一个没有文档内容的容器,以它为模板commit一个没有doc的tomcat新镜像kingge/tomcatnodoc
注意这个标红框的镜像id必须是某一个正在运行的容器id
3.启动重新上传的tomcat
查看是否存在doc目录
不存在,说明这个版本就是我们亲自提交的删除文档的tomcat版本。
这个时候可以同时启动原先的tomcat版本,查看区别。
命令图例
七、Docker容器数据卷
生产环境中使用Docker的过程中,往往需要对数据进行持久化,或者需要在多个容器之间进行数据共享,这必然涉及容器的数据管理操作。
卷就是目录或文件,存在于一个或多个容器中,由docker挂载到容器,但不属于联合文件系统,因此能够绕过Union File System提供一些用于持续存储或共享数据的特性.
卷的设计目的就是数据的持久化,完全独立于容器的生存周期,因此Docker不会在容器删除时删除其挂载的数据卷.( 数据卷是一个可供容器使用的特殊目录,它将主机操作系统目录直接映射进容器,类似于Linux中的mount操作)
特点:
1:数据卷可在容器之间共享或重用数据
2:卷中的更改可以直接生效
3:数据卷中的更改不会包含在镜像的更新中
4:数据卷的生命周期一直持续到没有容器使用它为止
容器中管理数据主要有两种方式:
\1. 数据卷(Data Volumes):容器内数据直接映射到本地主机环境,如何在容器内创建数据卷,并且把本地的目录或文件挂载到容器内的数据卷中。
\2. 数据卷容器(Data Volume Containers):使用特定容器维护数据卷。如何使用数据卷容器在容器和主机、容器和容器之间共享数据,并实现数据的备份和恢复。
7.1 创建数据卷
7.1.1 第一种方式:使用命令直接添加
命令: docker run -it -v /宿主机绝对路径目录:/容器内目录 镜像名
就是把宿主机的某个目录关联到容器中,两者数据共通(文件夹不存在时,自动创建)
1.使用命令创建数据卷
宿主机也创建了myHostVal目录
2.校验是否数据共通
宿主机创建一个文本
查看容器是否存在hello.txt
容器存在。
反之,容器创建一个文件,宿主机也会出现同样的文件。
尖叫提示:
Docker挂载数据卷的默认权限是读写(rw),用户也可以通过ro指定为只读
\3. 极端测试
容器停止退出后(exit),宿主机创建或者修改文件,再重启容器(start),查看宿主机创建或者修改的文件是否有相应的变化。
经测试,答案是会有相应的变化。
4.查看容器的内部细节
docker inspect 容器ID
返回的json串中可以找到这样的一行描述
5.容器挂载文件夹的读写方式
docker run -it -v /宿主机绝对路径目录:/容器内目录:ro 镜像名
经过操作我们发现,宿主机创建或者修改的文件都能够同步到容器中,但是在容器中只能够查看对应的宿主机同步过来的文件,容器中不能够新增删除修改文件,只能够查看。
再次使用inspect 命令查看挂载的状态
发现可读写方式变为false,只读。
7.1.2 第二种方式:DockerFile方式添加
DockerFile就是对于一个镜像的描述文件,类似于java代码编译后形成的.class文件,他是关于一个java类的描述。
1初探dockerfile结构
打开docker hub,随便查看一个tomcat版本的dockerfile
打开后得到下面的代码,下面就是
这个dockerfile文件很好的阐述了tomcat镜像文件为什么这么大,而且为什么我们能够访问8080端口。
查看centos的dockerfile镜像描述文件
2.创建数据卷
可在Dockerfile中使用VOLUME指令来给镜像添加一个或多个数据卷
VOLUME[“/dataVolumeContainer”,”/dataVolumeContainer2”,”/dataVolumeContainer3”]
说明:
出于可移植和分享的考虑,用-v 主机目录:容器目录这种方法不能够直接在Dockerfile中实现。
由于宿主机目录是依赖于特定宿主机的,并不能够保证在所有的宿主机上都存在这样的特定目录。(意思就是说容器中数据卷在linux01宿主机上关联的目录是myvolume1,但是如果该镜像在linux02宿主机上运行,那么容器容器启动后,可能找不到关联的myvolume1,因为你不能够保证linux02宿主机的相关目录结构是跟linux01一样的,所以使用dockerfile的方式创建数据卷的时候,单方面的指定容器中数据卷目录位置,容器启动后,会帮我们自动创建相关联的宿主机的目录)
也就是说,VOLUME命令只能够单方面的在容器中创建数据卷,不能够指明对应宿主机关联的目录(但是他会自动在宿主机创建相关联的目录)
\1. 宿主机创建dockerfile文件,依赖已经存在的centos镜像。
也就是说我们以现有的centos为某一层创建一个新的镜像(符合UnionFS)
在宿主机创建一个文件夹,存放创建的dockerfile文件
![img](docker个人总结\clip_image129.png)
新建的dockerfile文件dc。内容
\2. 根据dockerfile文件dc,构建新镜像
Docker images 查看现存在的镜像
启动我们创建的centos镜像
确实主动给我们创建了两个数据卷,那么他们关联的宿主机的目录是什么呢?
使用docekr inspect命令查看
7.2数据卷容器
使用特定容器维护数据卷。7.1中使用的数据卷的方式是宿主机直接映射到容器进行数据传输,但是如果我们想两个容器之间共享传递数据怎么办呢?
就需要创建数据卷容器
7.2.1先启动一个父容器dc01
以上一步新建的镜像kingge/centos为模板并运行容器dc01
在创建容器卷dataVolumeContainer2新增内容,touch hello1.txt
7.2.2 创建dc02、03继承自dc01
使用–volumes-from关键命令
在dc02、03的dataVolumeContainer2目录下查看是否存在dc01创建的hello1txt,很明显是可以看到的。
7.2.3测试数据共通性
1.dc02/dc03分别在dataVolumeContainer2各自新增内容,touch hello2.txt和touch hello3.txt
分别查看dc01 dc02 dc03的dataVolumeContainer2目录下是否存在hello1.txt hello2.txt hello3.txt 这三个文件,答案是:都存在这三个文件
\2. 删除dc01,dc02修改后dc03可否访问
答案很明显是存在的,也就是说删除dc01并不会影响dc02和dc03的数据互通
结论:容器之间配置信息的传递,数据卷的生命周期一直持续到没有容器使用它为止
八、DockerFile解析
8.1 dockerfile概念
Dockerfile是用来构建Docker镜像的构建文件,是由一系列命令和参数构成的脚本。通过:编写Dockerfile文件-> docker build -> docker run,生成一个镜像文件
查看centos的dockerfile镜像描述文件
1:每条保留字指令都必须为大写字母且后面要跟随至少一个参数
2:指令按照从上到下,顺序执行
3:#表示注释
4:每条指令都会创建一个新的镜像层,并对镜像进行提交
(1)docker从基础镜像运行一个容器(from scratch)
(2)执行一条指令并对容器作出修改
(3)执行类似docker commit的操作提交一个新的镜像层
(4)docker再基于刚提交的镜像运行一个新容器
(5)执行dockerfile中的下一条指令直到所有指令都执行完成
从应用软件的角度来看,Dockerfile、Docker镜像与Docker容器分别代表软件的三个不同阶段,
* Dockerfile是软件的原材料
* Docker镜像是软件的交付品
* Docker容器则可以认为是软件的运行态。
Dockerfile面向开发,Docker镜像成为交付标准,Docker容器则涉及部署与运维,三者缺一不可,合力充当Docker体系的基石。
1 Dockerfile,需要定义一个Dockerfile,Dockerfile定义了进程需要的一切东西。Dockerfile涉及的内容包括执行代码或者是文件、环境变量、依赖包、运行时环境、动态链接库、操作系统的发行版、服务进程和内核进程(当应用进程需要和系统服务和内核进程打交道,这时需要考虑如何设计namespace的权限控制)等等;
2 Docker镜像,在用Dockerfile定义一个文件之后,docker build时会产生一个Docker镜像,当运行 Docker镜像时,会真正开始提供服务;
3 Docker容器,容器是直接提供服务的。
尖叫提示:Docker Hub 中 99% 的镜像都是通过在 base 镜像中安装和配置需要的软件构建出来的
8.2 dockerfile指令(保留字指令)
FROM
基础镜像,当前新镜像是基于哪个镜像的
MAINTAINER
镜像维护者的姓名和邮箱地址
RUN
容器构建时需要运行的命令
EXPOSE
当前容器对外暴露出的端口
WORKDIR
指定在创建容器后,终端默认登陆的进来工作目录,一个落脚点
ENV
用来在构建镜像过程中设置环境变量
ADD
将宿主机目录下的文件拷贝进镜像且ADD命令会自动处理URL和**解压tar压缩包**
COPY
类似ADD,拷贝文件和目录到镜像中。 将从构建上下文目录中 <源路径> 的文件/目录复制到新的一层的镜像内的 <目标路径> 位置,没有解压功能
COPY src dest
COPY [“src”, “dest”]
VOLUME
容器数据卷,用于数据保存和持久化工作
CMD
指定一个容器启动时要运行的命令
Dockerfile 中可以有多个 CMD 指令,但只有最后一个生效,CMD 会被 docker run 之后的参数替换(跟ENTRYPOINT指令的区别)
举个例子,查看tomcat 的dockerfile文件,我们可以发现最后是通过cmd命令启动了tomcat。那么为了证明CMD会不会被docker run后面的参数替换,请看下面例子。
ENTRYPOINT
指定一个容器启动时要运行的命令
ENTRYPOINT 的目的和 CMD 一样,都是在指定容器启动程序及参数,但是他是以追加的形式而不是覆盖
docker run 之后的参数会被当做参数传递给 ENTRYPOINT,之后形成新的命令组合
ONBUILD
当构建一个被继承的Dockerfile时运行命令,父镜像在被子继承后父镜像的onbuild被触发
小总结
8.3 案例
案例一
需求:修改默认的centos,修改他的落脚点(默认运行centos后容器进入的根目录)和添加vim指令、ifconfig(默认centos镜像没有安装这两个组件)
\1. 创建dockefile镜像描述文件
内容是
FROM centos MAINTAINER kingge393215661@qq.com ENV MYPATH /usr/local WORKDIR $MYPATH RUN yum -y install vim RUN yum -y install net-tools EXPOSE 80 CMD echo $MYPATH CMD echo “success————–ok” CMD /bin/bash
\2. 根据创建的Dockerfile构建镜像
docker build -t 新镜像名字:TAG . (注意这里还有一个点,表示当前文件夹)
默认去找当前目录下名字为Dockerfile的文件构建镜像。
也可以用这个命令指定dockerfile:
docker build -f /mydockerfile/Dockerfile -t kingge/mycentos:1.1 .
很明显跟原先从docker hub上拉取下来的centos多个两百多M,因为我们安装了vim和net-tools指令。
\3. 列出镜像的变更历史
docker history 镜像名(imagesid)
可以看到构建这个镜像的每一层相关的操作。
4.运行构建的镜像
可以看到容器登陆后落脚点变更为了我们设定的/usr/local,同时也支持了vim 和ifconfig命令。
案例2
通过自定义一个tomcat的方式我们来使用一些dockerfile常用的指令
2.1 新建一个工作目录
存放待传输到容器中的压缩包(测试ADD命令专用)和一个文本文件(测试COPY指令专用)
2.2 根据原版centos新建Dockerfile文件
内容是:
FROM centos MAINTAINER kingge393215661@qq.com #把宿主机当前上下文的hello.txt拷贝到容器/usr/local/路径下 #并重命名为helloNewName.txt COPY hello.txt /usr/local/helloNewName.txt #把java与tomcat添加到容器中 ADD jdk-8u144-linux-x64.tar.gz /usr/local/ ADD apache-tomcat-9.0.21.tar.gz /usr/local/ #安装vim编辑器 RUN yum -y install vim #设置工作访问时候的WORKDIR路径,登录落脚点 ENV MYPATH /usr/local WORKDIR $MYPATH #配置java与tomcat环境变量 ENV JAVA_HOME /usr/local/jdk1.8.0_144 ENV CLASSPATH $JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar ENV CATALINA_HOME /usr/local/apache-tomcat-9.0.21 ENV CATALINA_BASE /usr/local/apache-tomcat-9.0.21 ENV PATH $PATH:$JAVA_HOME/bin:$CATALINA_HOME/lib:$CATALINA_HOME/bin #容器运行时监听的端口 EXPOSE 8080 #启动时运行tomcat # ENTRYPOINT [“/usr/local/apache-tomcat-9.0.21/bin/startup.sh” ] # CMD [“/usr/local/apache-tomcat-9.0.21/bin/catalina.sh”,”run”] CMD /usr/local/apache-tomcat-9.0.21/bin/startup.sh && tail -F /usr/local/apache-tomcat-9.0.21/bin/logs/catalina.out
2.3 构建
构建完成
2.4 执行(RUN)
docker run -d -p 9080:8080 –name myt9 -v /mydockerfile/mytomcat/tomcat9/project:/usr/local/apache-tomcat-9.0.21/webapps/project -v /mydockerfile/mytomcat/tomcat9/logs/:/usr/local/apache-tomcat-9.0.21/logs –privileged=true mytomcat921
命令的意思是:后台执行tomcat镜像,docker对外暴露8080端口,外部可以通过9080端口访问docker容器的8080端口。
–name:启动的容器重命名为myt9
-v:新建两个数据卷
–privileged=true: Docker挂载主机目录Docker访问出现cannot open directory .: Permission denied解决办法:在挂载目录后多加一个–privileged=true参数即可
启动成功
2.5 验证
1.首先验证两个tar包是否已经上传到容器并解压成功,hello.txt文件是否已经copy到容器、容器登录后落脚点是否是在我们设置的/usr/local
2.查看数据卷是否创建成功
宿主机对应数据卷创建成功
容器数据卷创建成功,project出现
3.校验数据卷
2.6 部署项目
因为我们在创建数据卷的时候:
/mydockerfile/mytomcat/tomcat9/project:/usr/local/apache-tomcat-9.0.21/webapps/project
宿主机的/tomcat9/project目录映射到了容器的webapps/project目录,那么可以利用数据卷的数据共通原理。在宿主机的project目录上传一个项目,然后重启容器,那么就可以实现项目的发布。
上传解压后的项目文件
很明显会自动同步到容器的webapps/project目录下
重启容器
访问项目
总结
九、常用插件安装
https://www.runoob.com/docker/docker-install-mysql.html
9.1总体步骤
搜索镜像、拉取镜像、查看镜像、启动镜像、停止容器、移除容器
9.2 tomcat安装
9.2.1 docker hub上面查找tomcat镜像
docker search tomcat
或者直接使用浏览器登录docker hub查找也可以
9.2.2 从docker hub上拉取tomcat镜像到本地
docker pull tomcat
9.2.3 docker images查看是否有拉取到的tomcat
为什么拉取下来的tomcat有五百多M?上面文章已经做了解释(因为里面包含了jdk等等,这个也就是为什么我们可以直接运行tomcat镜像而不用配置jdk环境的原因)
9.2.4 使用tomcat镜像创建容器(也叫运行镜像)
docker run -it -p 8080:8080 tomcat
-p 主机端口:docker容器端口
-P 随机分配端口
i:交互
t:终端
9.3安装mysql
https://hub.docker.com/_/mysql 官网文档
9.3.1 docker hub上面查找mysql镜像
9.3.2 从docker hub上(阿里云加速器)拉取mysql镜像到本地标签为5.6
9.3.3 使用mysql5.6镜像创建容器(也叫运行镜像)
docker run -p 12345:3306 –name mysql -v /kingge/mysql/conf:/etc/mysql/conf.d -v / kingge /mysql/logs:/logs -v / kingge /mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.6
命令说明: -p 12345:3306:将主机的12345端口映射到docker容器的3306端口。 –name mysql:运行服务名字 -v / kingge /mysql/conf:/etc/mysql/conf.d :将主机/ kingge /mysql录下的conf/my.cnf 挂载到容器的 /etc/mysql/conf.d -v / kingge /mysql/logs:/logs:将主机/ kingge /mysql目录下的 logs 目录挂载到容器的 /logs。 -v / kingge /mysql/data:/var/lib/mysql :将主机/ kingge /mysql目录下的data目录挂载到容器的 /var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456:初始化 root 用户的密码。 -d mysql:5.6 : 后台程序运行mysql5.6
登录测试
docker exec -it 954efcffa04d /bin/bash
成功
外部软件连接成功
9.4 安装redis
9.4.1 从docker hub上(阿里云加速器)拉取redis镜像到本地标签为3.2
9.4.2 使用redis3.2镜像创建容器(也叫运行镜像)
docker run -p 6379:6379 -v /kingge/myredis/data:/data -v /kingge/myredis/conf/redis.conf:/usr/local/etc/redis/redis.conf -d redis:3.2 redis-server /usr/local/etc/redis/redis.conf –appendonly yes
这个时候可以直接连接redis了:
命令:docker exec -it 运行着Rediis服务的容器ID redis-cli
设置redis配置文件:
在主机/kingge/myredis/conf/redis.conf目录下新建redis.conf文件 vim / kingge /myredis/conf/redis.conf/redis.conf
Accept connections on the specified port, default is 6379 (IANA #815344). # If port 0 is specified Redis will not listen on a TCP socket. port 6379 。。。。省略
测试持久化文件生成
十、本地镜像发布到阿里云
1.镜像生成方式
(1)使用DockerFile的方式创建镜像
(2)根据运行的容器创建一个新的镜像 docker commit [OPTIONS] 容器ID [REPOSITORY[:TAG]] (参见6.3章节的补充模块的Docker镜像commit)
2. 将本地镜像推送到阿里云
2.1 登录阿里云,创建镜像仓库
https://cr.console.aliyun.com/cn-hangzhou/instances/repositories
2.2 创建命名空间
2.3 点击镜像仓库的管理
可以获取推送镜像到阿里云仓库的地址
$ sudo docker login –username=393215661@qq.com registry.cn-hangzhou.aliyuncs.com $ sudo docker tag [ImageId] registry.cn-hangzhou.aliyuncs.com/kingge/myrepo:[镜像版本号] $ sudo docker push registry.cn-hangzhou.aliyuncs.com/kingge/myrepo:[镜像版本号]
2.4 推送镜像到阿里云
首先进行登录
标记我们需要上传的镜像
开始推送
推送成功
2.5 查看是否推送成功
2.6 从阿里云下载我们推送的镜像
十一、新建本地仓库
本质就是通过一个名字为registry的镜像,构建仓库
(1)拉取私有仓库镜像
docker pull registry
(2)启动私有仓库容器
docker run -di --name=registry -p 5000:5000 registry
(3)打开浏览器 输入地址http://49.234.188.74:5000/v2/_catalog看到{"repositories":[]} 表示私有仓库搭建成功并且内容为空
或者使用crul 命令查看也可以
这里有个hello-world镜像,是本人之前上传的。如果没有上传过,那么这个应该返回的是{“repositories”:[]}
(4)修改daemon.json
vi /etc/docker/daemon.json
添加以下内容,保存退出。
{“insecure-registries”:[“49.234.188.74:5000”]}
例如
此步用于让 docker信任私有仓库地址
(5)重启docker 服务
systemctl restart docker
上传镜像到本地仓库
(1)标记此镜像为私有仓库的镜像
docker tag hello-world 49.234.188.74:5000/ hello-world (本质就是创建一个关于hello-world的引用,镜像名字更改为hello-world 49.234.188.74:5000/hello-world )
(2)再次启动私服容器
docker start registry
(3)上传标记的镜像
docker push 49.234.188.74:5000/ hello-world
(4)查看是否上传成功
其他服务器获取上传的容器
需求:192.168.1.105 服务器需要从 49.234.188.74 服务器创建的本地仓库获取上床的hello-world镜像
\1. 192.168.1.105设置可信任仓库站点
vi /etc/docker/daemon.json
添加以下内容,保存退出。
{“insecure-registries”:[“49.234.188.74:5000”]}
如果不设置这一步,那么在从49.234.188.74服务器pull镜像的时候会报以下错误
默认不支持http请求的方式获取镜像
\2. 拉取镜像成功
十二、使用DockerMaven插件构建项目
微服务部署有两种方法:
(1)手动部署:首先基于源码打包生成jar包(或war包),将jar包(或war包)上传至虚 拟机并拷贝至JDK容器。
(2)通过Maven插件自动部署。
对于数量众多的微服务,手动部署无疑是非常麻烦的做法,并且容易出错。
(1)修改宿主机的docker配置,让其可以远程访问
Vi /lib/systemd/system/docker.service
其中ExecStart=后添加配置 ‐H tcp://0.0.0.0:2375 ‐H unix:///var/run/docker.sock
(2)刷新配置,重启服务
systemctl daemon‐reload
systemctl restart docker
docker start registry (这里使用的是本地仓库)
(3) springboot的pom文件添加插件
最后执行:mvn clean package docker:build
即可把镜像上传到本地仓库中
上面的方式是构建 项目到本地仓库的方式。如果我们自己申请了阿里云仓库,那么可以使用下面的方式将项目推送到阿里云仓库中。
使用SpringBoot2.0+DockerFile+Maven插件构建镜像并推送到阿里云仓库
https://blog.csdn.net/haogexiang9700/article/details/88318867
问题总结
1 启动mysql后使用外部数据库连接工具访问时,报错
错误提示 2059 - authentication plugin ‘caching_sha2_password’”
通过查看本人启动mysql容器,mysql的版本是:
经过查询得知:出现这个问题的原因是mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password, 解决问题方法是把mysql用户登录密码加密规则还原成mysql_native_password
也就是数据库访问工具还是使用mysql_native_password这样的价码规则访问数据库。
关键的位置是在:mysql数据库中的user表
解决方法:
通过命令行的方式登陆数据库 mysql -uroot -p密码
然后分别执行以下代码
use mysql;
ALTER USER ‘root’@’localhost’ IDENTIFIED WITH mysql_native_password BY ‘123456’;
ALTER USER ‘root’@’%’ IDENTIFIED WITH mysql_native_password BY ‘123456’;
FLUSH PRIVILEGES;
修改完毕
修改host为localhost和%(任意客户端)的密码认证方式
官方文档对应mysql8的更新说明
https://dev.mysql.com/doc/refman/8.0/en/upgrading-from-previous-series.html
2.docker数据卷权限问题
参见《持续集成和容器管理》-《额外补充》章节,启动jenkins dokcer容器时,添加数据卷权限问题。