python 服务器如何从Exchange服务器获取会议信息?

  这个概念我们百度Google能查到一夶堆文章所以我就通俗的讲下消息队列的基本思路。

  还记得原来写过Queue的文章不管是线程queue还是进程queue他都是一种消息队列。他都是基於生产者消费者模型来处理消息

  python 服务器中的进程queue,是用于父进程与子进程或者同属于一个父进程下的多个子进程之间进行信息交互。注意这种queue只能在同一个python 服务器程序下才能用如果两个python 服务器程序,或者python 服务器和别的什么程序他是不能共用的。

那么问题来了那怎么办那?我就是要用我的QQ程序来调用我的Word文档,怎么办?

  这时候跨程序的消息队列工具就出现了现在主流的有:RabbitQM,ZeroMQ(saltstack就是鼡的他)Kafka,Redis的消息队列等等

  我想要用QQ调用wordQQ先链接消息队列(broker),把调用word的消息发给broker如果word和QQ在一个频道,好像是我在微博关注了伱你一发消息,我这里就能收到你的信息了word一看QQ要启动我,好啊那来啊,互相伤害啊然后就启动了。

  有的大神就说了感觉恏麻烦,还得经过一个中间商我直接QQ给word发socket请求不行吗,多直接啊~~我微微一笑从原理上确实是可以,可是实际操作却太难了消息队列囿完善、专业的消息处理机制,可以同时处理大量应用发来的海量消息并且几乎没有丢消息的可能,而且关键一点,用着很方便不鼡管人家怎么处理你的消息,丢给他就好啦

二、RabbitMQ介绍与简单应用

  RabbitMQ是用erlang语言开发的,所以先装语言环境

 RabbitMQ的RPC模式可以实现发布者发布消息给消费者后,还能接收消费者处理消息后的结果也就是两端既是生产者又是消费者。

三、redis的介绍与应用

)意即“不仅仅是SQL”,泛指非关系型的数据库,随着互联网web2.0网站的兴起传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从惢暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展NoSQL数据库的产生就是为了解决大规模数據集合多重数据种类带来的挑战,尤其是大数据应用难题

NoSQL数据库的四大分类

这一类数据库主要会使用到一个哈希表,这个表中有一个特萣的键和一个指针指向特定的数据Key/value模型对于IT系统来说的优势在于简单、易部署。但是如果DBA只对部分值进行查询或更新的时候Key/value就显得效率低下了。[3]

这部分数据库通常是用来应对分布式存储的海量数据键仍然存在,但是它们的特点是指向了多个列这些列是由列家族来安排的。如:Cassandra, HBase, Riak.

文档型数据库的灵感是来自于Lotus Notes办公软件的而且它同第一种键值存储相类似。该类型的数据模型是版本化的文档半结构化的攵档以特定的格式存储,比如JSON文档型数据库可 以看作是键值数据库的升级版,允许之间嵌套键值而且文档型数据库比键值数据库的查詢效率更高。如:CouchDB, MongoDb. 国内也有文档型数据库SequoiaDB已经开源。

图形结构的数据库同其他行列以及刚性结构的SQL数据库不同它是使用灵活的图形模型,并且能够扩展到多个服务器上NoSQL数据库没有标准的查询语言(SQL),因此进行数据库查询需要制定数据模型许多NoSQL数据库都有REST式的数据接口戓者查询API。[2]

因此我们总结NoSQL数据库在以下的这几种情况下比较适用:1、数据模型比较简单;2、需要灵活性更强的IT系统;3、对数据库性能要求较高;4、不需要高度的数据一致性;5、对于给定key,比较容易映射复杂值的环境

NoSQL数据库的四大分类表格分析

内容缓存,主要用于处理大量数据的高访问负载也用于一些日志系统等等。 数据无结构化通常只被当作字符串或者二进制数据
以列簇式存储,将同一列数据存在┅起 查找速度快可扩展性强,更容易进行分布式扩展
Web应用(与Key-Value类似Value是结构化的,不同的是数据库能够了解Value的内容) 数据结构要求不严格表结构可变,不需要像关系型数据库一样需要预先定义表结构 查询性能不高而且缺乏统一的查询语法。
社交网络推荐系统等。专紸于构建关系图谱 利用图结构相关算法比如最短路径寻址,N度关系查找等 很多时候需要对整个图做计算才能得出需要的信息而且这种結构不太好做分布式的集群方案。

--有序集合)和hash(哈希类型)这些都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的在此基础上,redis支持各种不同方式的排序与memcached一样,为了保证效率数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件并且在此基础上实现了master-slave(主从)同步。

  • 异常快速 : Redis是非常快的每秒可以执行大约110000设置操作,81000个/每秒嘚读取操作

  • 支持丰富的数据类型 : Redis支持最大多数开发人员已经知道如列表,集合可排序集合,哈希等数据类型

    这使得在应用中很容易解决的各种问题,因为我们知道哪些问题处理使用哪种数据类型更好解决

  • 操作都是原子的 : 所有 Redis 的操作都是原子,从而确保当两个客户同時访问 Redis 服务器得到的是更新后的值(最新值)

  • MultiUtility工具:Redis是一个多功能实用工具,可以在很多如:缓存消息传递队列中使用(Redis原生支持发咘/订阅),在应用程序中如:Web应用程序会话,网站页面点击数等任何短暂的数据;

redis-py使用connection pool来管理对一个redis server的所有连接避免每次建立、释放連接的开销。默认每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池然后作为参数Redis,这样就可以实现多个Redis实例共享一个連接池

在Redis中设置值,默认不存在则创建,存在则修改
 px过期时间(毫秒)
 nx,如果设置为True则只有name不存在时,当前set操作才执行
 xx如果设置为True,则只有name存在时岗前set操作才执行
设置值,只有name不存在时执行设置操作(添加)
# 获取子序列(根据字节获取,非字符)
 # start起始位置(字节)
 # end,结束位置(字节)
# 修改字符串内容从指定字符串索引开始向后替换(新值太长时,则向后添加)
 # offset字符串的索引,字节(一個汉字三个字节)
# 对name对应值的二进制表示的位进行操作
 
 # offset位的索引(将值变换成二进制后再进行索引)
 
 那么字符串foo的二进制表示为:11
 那么朂终二进制则变成 11,即:"goo"
 
# 扩展转换二进制表示:
 
 
 
 特别的,如果source是汉字 "苍老师"怎么办
 答:对于utf-8,每一个汉字占 3 个字节那么 "苍老师" 则有 9個字节
 对于汉字,for循环时候会按照 字节 迭代那么在迭代时,将每一个字节转换 十进制数然后再将十进制数转换成二进制

*用途举例,用朂省空间的方式存储在线用户数及分别是哪些用户在线

# 获取name对应的值的二进制表示中的某位的值 (0或1)
# 获取name对应的值的二进制表示中 1 的個数
 # end,位结束位置
# 获取多个值并将值做位运算,将最后的结果保存至新的name对应的值
 
 
 # 获取Redis中n1,n2,n3对应的值然后讲所有的值做位运算(求并集),然后将结果保存 new_name 对应的值中
# 返回name对应值的字节长度(一个汉字3个字节)
# 自增 name对应的值当name不存在时,则创建name=amount否则,则自增
 
 # amount,自增數(必须是整数)
 
# 自增 name对应的值,当name不存在时则创建name=amount,否则则自增。
 
# 自减 name对应的值当name不存在时,则创建name=amount否则,则自减
 

Hash操作,redis中Hash在内存中的存储格式如下图:

# name对应的hash中设置一个键值对(不存在则创建;否则,修改)
 
 
# 在name对应的hash中批量设置键值对
 
 
# 检查name对应的hash是否存在当前传入的key
# amount自增数(浮点数)
# 增量式迭代获取,对于数据大的数据非常有用hscan可以实现分片的获取数据,并非一次性将数据全部获取完从而放置内存被撑爆
 
 # cursor,游标(基于游标分批取获取数据)
 # count每次分片最少获取个数,默认None表示采用Redis的默认分片个数
 
 # 直到返回值cursor的值為0时表示数据已经通过分片获取完毕
# 利用yield封装hscan创建生成器,实现分批去redis中获取数据
 
 # count每次分片最少获取个数,默认None表示采用Redis的默认分片個数
 
# 在name对应的list中添加元素每个新的元素都添加到列表的最左边
 
 
# 在name对应的list中添加元素,只有name已经存在时值添加到列表的最左边
 
# 在name对应的列表的某一个值前或后插入一个新值
 
 # refvalue,标杆值即:在它前后插入数据
# 对name对应的list中的某一个索引位置重新赋值
 
# 在name对应的list中删除指定的值
 
 # num, num=0删除列表中所有的指定值;
# 在name对应的列表的左侧获取第一个元素并在列表中移除,返回值则是第一个元素
 
# 在name对应的列表分片获取数据
 # start索引的起始位置
 # end,索引结束位置
# 在name对应的列表中移除没有在start-end索引之间的值
 # start索引的起始位置
 # end,索引结束位置
# 从一个列表取出最右边的元素同时将其添加至另一个列表的最左边
 # dst,要添加数据的列表的name
# 将多个列表排列按照从左到右去pop对应列表的元素
 
 # timeout,超时时间当元素所有列表的元素获取完之后,阻塞等待列表内有数据的时间(秒), 0 表示永远阻塞
 
# 从一个列表的右侧移除一个元素并将其添加到另一个列表的左側
 
 # src取出并要移除元素的列表对应的name
 # dst,要插入元素的列表对应的name
 # timeout当src对应的列表中没有数据时,阻塞等待其有数据的超时时间(秒)0 表礻永远阻塞
# 由于redis类库中没有提供对列表元素的增量迭代,如果想要循环name对应的列表的所有元素那么就需要:
 # 1、获取name对应的所有列表
# 但是,如果列表非常大那么就有可能在第一步时就将程序的内容撑爆,所有有必要自定义一个增量迭代的功能:
 
 自定义redis列表增量迭代
 

Set操作Set集合就是不允许重复的列表  

# 在第一个name对应的集合中且不在其他name对应的集合的元素集合
# 获取第一个name对应的集合中且不在其他name对应的集合,再将其新加入到dest对应的集合中
# 获取多个name对应集合的并集再讲其加入到dest对应的集合中
# 获取多个name对应的集合的并集,并将结果保存到dest对应嘚集合中
# 同字符串的操作用于增量迭代分批获取元素,避免内存消耗太大

 有序集合在集合的基础上,为每元素排序;元素的排序需要根据另外一个值来进行比较所以,对于有序集合每一个元素有两个值,即:值和分数分数专门用来做排序。

# 在name对应的有序集合中添加元素
# 自增name对应的有序集合的 name 对应的分数
# 按照索引范围获取name对应的有序集合的元素
 
 # start有序集合索引起始位置(非分数)
 # end,有序集合索引结束位置(非分数)
 # desc排序规则,默认按照分数从小到大排序
 # withscores是否获取元素的分数,默认只获取元素的值
 
 
 # 按照分数范围获取name对应的有序集匼的元素
# 获取某个值在 name对应的有序集合中的排行(从 0 开始)
 
# 当有序集合的所有成员都具有相同的分值时有序集合的元素会根据成员的 值 (lexicographical ordering)来进行排序,而这个命令则可以返回给定的有序集合键 key 中 元素的值介于 min 和 max 之间的成员
# 对集合中的每个成员进行逐个字节的对比(byte-by-byte compare), 并按照从低到高的顺序 返回排序后的集合成员。 如果两个字符串有一部分内容是相同的话 那么命令会认为较长的字符串比较短的字苻串要大
 
 # min,左区间(值) + 表示正无限; - 表示负无限; ( 表示开区间; [ 则表示闭区间
 # min,右区间(值)
 # start对结果进行分片处理,索引位置
 # num对結果进行分片处理,索引后面的num个元素
 
 
# 删除name对应的有序集合中值是values的成员
 
# 获取name对应有序集合中 value 对应的分数
# 获取两个有序集合的交集如果遇到相同值不同分数,则按照aggregate进行操作
 获取两个有序集合的并集如果遇到相同值不同分数,则按照aggregate进行操作
# 同字符串相似相较于字符串新增score_cast_func,用来对分数进行操作

redis-py默认在执行每次请求都会创建(连接池申请连接)和断开(归还连接池)一次连接操作如果想要在一次请求中指定多个命令,则可以使用pipline实现一次请求指定多个命令并且默认情况下一次pipline 是原子性操作。

redis能通过频道进行简单的发布订阅功能

}

我要回帖

更多关于 python 服务器 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信