当前位置: 首页 > 新闻中心 > 技术分享 > 【美亚技术分享】第六十期:微软语音助手Cortana应用解析

【美亚技术分享】第六十期:微软语音助手Cortana应用解析

【美亚技术分享】第六十期:微软语音助手Cortana应用解析


123.jpg


1、概述

2015年7月29日,微软正式发布了Windows10操作系统。Windows10是微软史上第一款跨平台操作系统,可以在PC、平板、智能手机、游戏主机间共享同一个Windows应用商店。Windows10运行的硬件要求低,为用户提供更出色的性能,更高的安全性保护,更爽的游戏和上网体验。


伴随而来,WinXP系统已经停止维护,Windows7也将于2020年全面停止更新,WinXP和Windows7的用户正遭遇日益严重的网络安全威胁。因此,微软也在极力推广普及Windows10,鼓励和督促Windows7用户升级最新的Windows10系统。


随着越来越多的个人和公司评估、更新和使用Windows10操作系统,Windows10正式发布2年来,普及率得到很大提升,对Windows10取证支持的需求也日益重要和迫切。


Cortana是微软发布的全球第一款个人的人工智能助理,能够了解用户的喜好和习惯,帮助用户进行日程安排、回答问题等。Cortana会记忆计算机的使用习惯,利用云计算、搜索引擎和“非结构化数据”分析,读取和学习包括手机中的文本文件、电子邮件、图片、视频等数据,来理解用户的语义和语境,从而实现人机交互。



image001.jpg

图1.1 Cortana界面




2、应用解析

Cortana智能语音助手为了实现对工作和生活等方面的强大辅助作用,涉及数据种类较多,主要是【搜索关键词】和【提醒】。这些数据一般都会同步到微软云平台的登录账号,以实现数据备份和设备间数据共享。


本文将从【搜索关键词】、【提醒】、【最喜欢的地点】、【联网数据】这4个主要方面介绍Cortana应用解析。


Cortana数据的根目录在:/Users/[UserName]/AppData/Local/Packages/Microsoft.Windows.Cortana_[Number]。以下的路径描述没有特别说明,都是此根目录下的子目录。



2.1搜索关键词

搜索关键词主要分为2个部分:【手动输入搜索关键字】、【语音音频文件】。

【手动输入搜索关键字】:Cortana根据键盘输入关键词,给出建议提示,帮助快速打开应用,或打开Edge浏览器搜索网页,或打开地图进行导航等。主要放在以下2个目录:


  • 关键词存放在[CortanaDir]/AC/INetCache/的子目录下json后缀文件。这些文件以json数据格式存放。由于Cortana对输入有自动补全和建议功能,关键词可能有分词的情况。这部分主要是【搜索关键词】、【json文件生成的时间】。




image003.jpg

图2.1.1 qsonhs文件中的关键词


image005.jpg

图2.1.2 Suggestions文件中的关键词



image007.jpg

图2.1.3 其他json文件中的关键词


1510021292625822.jpg

图2.1.4 取证大师解析json的关键词


  • 关键词存放在[CortanaDir]/AppData/Indexed DB/IndexedDB.edb,信息以esedb数据库格式保存。同样的,这部分关键词可能有分词的情况。这部分主要是【搜索关键词】、【数据存入数据库的时间】。




1510021327911373.jpg

图2.1.5 取证大师解析IndexedDB的关键词


【语音音频文件】:Cortana会根据语音输入,尝试理解用户语意,进行类似【手动输入搜索关键字】的处理,帮助用户解决问题。语音文件主要存放在[CortanaDir]/LocalState/LocalRecorder/Speech目录下。这部分主要罗列Cortana语音文件,显示【文件名】、【文件大小】、【创建时间】等信息。



1510021349754787.jpg

图2.1.6 取证大师解析的语音文件



2.2 提醒

【提醒】功能,类似手机闹钟,提醒用户各种日程安排或任务。这些信息主要存放在[CortanaDir]/LocalState/ESEDatabase_CortanaCoreInstance/CortanaCoreDb.dat,以esedb数据库格式保存,信息分为【时间提醒】、【地点提醒】、【联系人提醒】。



image015.jpg

图2.2.1 【提醒】的界面


image017.jpg

图2.2.2 数据库中的【位置提醒】


【时间提醒】:主要是起到提醒用户在【何时】要处理【何事】的作用。【时间提醒】对于工作和日程安排是一个比较重要、频繁使用的功能,是一个价值比较高的功能。这个部分主要是【标题】(何事)、【创建时间】、【下次提醒的时间点】(何时)等信息。



image019.jpg

图2.2.3 取证大师解析的【时间提醒】



【位置提醒】:主要是起到提醒用户在到达或离开【何地】时要处理【何事】的作用。这个部分主要是【标题】(何事)、【地点名称】(何地)、【地点查询】、【经度】、【纬度】、【范围半径】等信息。



image021.jpg

图2.2.4 取证大师解析的【位置提醒】


【联系人提醒】:主要是起到提醒用户在下次联系【何人】时要处理【什么事】的作用。这个部分主要是【标题】(何事)、【联系人】(何人)、【创建时间】等信息。



image023.jpg

图2.2.5 取证大师解析的【联系人提醒】




2.3 最喜欢的地点



【最喜欢的地点】是常去的地点或常关注地点,便于Cortana为用户提示这些地点的天气情况和路况;出行时规划导航路线;推荐美食、景点等周边服务。这些信息主要存放在[CortanaDir]/LocalState/Graph/[UserID]/Me/00000000.ttl。这个部分主要是【标题】、【地区地址】、【经度】、【纬度】等信息。



image025.jpg

图2.3.1 【最喜欢的地点】的界面



1510021480443461.jpg

图2.3.2 【常用地点】的源数据



1510021502984564.jpg

图2.3.3 取证大师解析的【最喜欢的地点】




2.4 联网数据


【联网数据】是Cortana访问互联网的网站Cache数据情况,一般是预先设置的关注点等触发Cortana联网取得信息,为用户提供关注的信息和资讯。但这些数据刷新频度高,站点内容繁多,数据价值相对较低。这些信息存放在:


  1. [CortanaDir]/AC

  2. [系统盘]/Users/[UserName]/AppData/Microsoft/Windows/WebCache/WebCacheV01.dat。



1510021522834739.jpg

图2.4.1WebCacheV01.dat的Cortana数据




3、总结

目前,Windows10操作系统已有相当普及度,Cortana也相对成熟稳定。对Windows10的Cortana应用解析是计算机取证重要的研究对象之一,美亚柏科将持续跟进Cortana的更新,研究Cortana的新功能、新特性。美亚柏科作为电子数据取证的龙头企业,一直关注行业动向,注重产品的完善拓展,努力研究新技术解决新问题,着力提升对用户的服务品质和用户体验。美亚柏科的取证大师V5版本能够快速解析Cortana应用数据,界面简洁清爽,数据直观准确。若您想要详细了解该技术或有技术支持需求,可以联系我们获取试用版本。联系电话:4008886688。