428 Star 2.3K Fork 513

OpenHarmony / docs

Create your Gitee Account
Explore and code with more than 5 million developers,Free private repositories !:)
Sign up
Clone or download
XTS认证子系统README.md 17.29 KB
Copy Edit Web IDE Raw Blame History
NEEN authored 2020-09-11 21:36 . !58 Docs Update

XTS认证子系统

简介

XTS是OpenHarmony生态认证测试套件的集合,当前包括acts(application compatibility test suite)应用兼容性测试套,后续会拓展dcts(device compatibility test suite)设备兼容性测试套等。

test/xts仓当前包括acts与tools软件包:

  • acts,存放acts相关测试用例源码与配置文件,其目的是帮助终端设备厂商尽早发现软件与OpenHarmony的不兼容性,确保软件在整个开发过程中满足OpenHarmony的兼容性要求。
  • tools,存放acts相关测试用例开发框架。

目录

test/xts源代码目录结构:

├── acts

│ ├── BUILD.gn 测试用例编译配置

│ └── subsystem_lite 子系统测试用例源码

└── tools

│ └── build 测试用例编译相关的模板与脚本

│ └── hcpptest 智慧视觉类设备(Ipcamera)测试用例开发框架源码

│ └── hctest 联接类模组测试用例开发框架源码

│ └── BUILD.gn 编译配置

│ └── build.sh 编译入口

约束

联接类模组acts用例开发语言是C,智慧视觉类设备(Ipcamera)acts用例开发语言是C++。

编写联接类模组acts测试用例

当前使用的测试框架是hctest。

hctest测试框架支持使用C语言编写测试用例,在联接类模组上执行,是在开源测试框架unity的基础上进行增强和适配。

1,用例目录规范:测试用例存储到test/xts/acts仓中。

├── acts

│ ├── BUILD.gn

│ └──subsystem_lite

│ │ └── module_hal

│ │ │ └── BUILD.gn

│ │ │ └── src

2,src目录下用例编写样例:

(1)引用测试框架

#include "hctest.h"

(2)使用宏定义LITE_TEST_SUIT定义子系统、模块、测试套件名称

/**  
* @brief  register a test suit named "IntTestSuite"  
* @param  test subsystem name  
* @param  example module name  
* @param  IntTestSuite test suit name  
*/
LITE_TEST_SUIT(test, example, IntTestSuite);

(3)定义Setup与TearDown

命名方式:测试套件名称+Setup,测试套件名称+TearDown。

Setup与TearDown必须存在,可以为空函数。

(4)使用宏定义LITE_TEST_CASE写测试用例

包括三个参数:测试套件名称,测试用例名称,用例级别。

用例级别取值为如下内容之一:

“Level0”,“Level1”,“Level2”,“Level3”,“Level4”。

LITE_TEST_CASE(IntTestSuite, TestCase001, Level0) 
{  
  //do something 
};

用例级别说明:

级别名称

基本定义

测试范围

Level0

冒烟

验证关键功能点基本功能/最基本DFX属性在最常见输入下的表现,通过表示功能基本可运行。

Level1

基本

验证各功能点基本功能/基本DFX属性在常见输入下的表现,通过表示功能基本可测试。

Level2

重要

验证各功能点的基本功能/基本DFX属性在常规输入/常见异常情况下的表现,通过表示功能基本正常可用,可开展Beta。

Level3

一般

验证各功能点的全部功能/全部DFX属性在各种常规/非常规输入组合下,或各种正常/异常预置条件组合下的表现。

Level4

生僻

验证关键功能点在极端异常预置条件下、用户难以触及的异常输入组合下的表现。

(5)使用宏定义 RUN_TEST_SUITE注册测试套件;

RUN_TEST_SUITE(IntTestSuite);

3,测试模块的配置文件样例:(BUILD.gn)

每个测试模块目录下新建BUILD.gn编译文件,用于指定编译后静态库的名称、依赖的头文件、依赖的库等;具体写法如下:

import("//test/xts/tools/build/suite_lite.gni")
hctest_suite("ActsDemoTest") {
    suite_name = "acts"
    sources = [
        "src/test_demo.c",
    ]
    include_dirs = [ ]
    cflags = [ "-Wno-error" ]
}

4,acts下BUILD.gn增加编译选项

需要将测试模块加入到acts目录下的编译脚本中,编译脚本路径:test/xts/acts/BUILD.gn。

lite_component("acts") {  
    ...
    if(board_name == "liteos_riscv") {
        features += [    
            ...
            "//xts/acts/subsystem_lite/module_hal:ActsDemoTest"
        ]    
    }
}

5,测试套件编译命令

1) 命令:python build.py wifiiot -b debug

2) 输出:out/wifiiot

备注:联接类模组acts测试编译中间件为静态库,最终会链接到版本镜像中 :Hi3861_wifiiot_app_allinone.bin;

编写智慧视觉类设备(Ipcamera)acts测试用例

hcpptest测试框架是在开源的googletest测试框架的基础上进行的增强和适配。

1,用例目录规范:测试用例存储到test/xts/acts仓中。

├── acts

│ ├── BUILD.gn

│ └──subsystem_lite

│ │ └── module_posix

│ │ │ └── BUILD.gn

│ │ │ └── src

2,测试模块src下用例编写样例:

(1)引用测试框架:

需要引用gtest.h 如:#include "gtest/gtest.h"

#include "gtest/gtest.h"

(2)定义Setup与TearDown

class TestSuite: public testing::Test {
protected:
// Preset action of the test suite, which is executed before the first test case
static void SetUpTestCase(void){
}
// Test suite cleanup action, which is executed after the last test case
static void TearDownTestCase(void){
}
// Preset action of the test case
virtual void SetUp()
{
}
// Cleanup action of the test case
virtual void TearDown()
{
}
};

(3)使用宏定义HWTEST或HWTEST_F写测试用例

普通测试用例的定义:HWTEST(测试套名称, 测试用例名称, 用例标注)。

包含SetUp和TearDown的测试用例的定义 :HWTEST_F(测试套名称, 测试用例名称,用例标注)。

宏定义包括三个参数:测试套件名称,测试用例名称,用例级别。

用例级别取值为如下内容之一:

“Level0”,“Level1”,“Level2”,“Level3”,“Level4”。

HWTEST_F(TestSuite, TestCase_0001, Level0) {
// do something
}

用例级别说明:

级别名称

基本定义

测试范围

Level0

冒烟

验证关键功能点基本功能/最基本DFX属性在最常见输入下的表现,通过表示功能基本可运行。

Level1

基本

验证各功能点基本功能/基本DFX属性在常见输入下的表现,通过表示功能基本可测试。

Level2

重要

验证各功能点的基本功能/基本DFX属性在常规输入/常见异常情况下的表现,通过表示功能基本正常可用,可开展Beta。

Level3

一般

验证各功能点的全部功能/全部DFX属性在各种常规/非常规输入组合下,或各种正常/异常预置条件组合下的表现。

Level4

生僻

验证关键功能点在极端异常预置条件下、用户难以触及的异常输入组合下的表现。

3,测试模块下用例配置文件样例:(BUILD.gn)

每个测试模块目录下新建BUILD.gn编译文件,用于指定编译后可执行文件的名称、依赖的头文件、依赖的库等;具体写法如下。每个测试模块将独立编译成.bin可执行文件, 该文件可直接mount到单板上进行测试。

举例:

import("//test/xts/tools/build/suite_lite.gni")

hcpptest_suite("ActsDemoTest") {
    suite_name = "acts"
    sources = [
        "src/TestDemo.cpp"
    ]

    include_dirs = [
        "src",
        ...
    ]
    deps = [
        ...
    ]
    cflags = [ "-Wno-error" ]
}

4**,acts目录下增加编译选项(BUILD.gn)**

需要将测试模块加入到acts目录下的编译脚本中,编译脚本为:test/xts/acts/BUILD.gn。

 lite_component("acts") {  
...
else if(board_name == "liteos_a") {
        features += [
            ...
            "//xts/acts/subsystem_lite/module_posix:ActsDemoTest"
        ]
    }
}

5,测试套件编译命令

1.1 hi3518ev300 :

1)命令:python build.py ipcamera_hi3518ev300 -b debug

2)输出:out/ipcamera_hi3518ev300

1.2 hi3516dv300:

1) 命令:python build.py ipcamera_hi3516dv300 -b debug

2)输出:out/ipcamera_hi3516dv300

备注:智慧视觉类设备(Ipcamera)acts独立编译成.bin可执行文件, 该文件可直接mount到单板上进行测试。

执行联接类模组acts测试用例

1,获取测试大包:

请在如下目录获取版本镜像,归档目录:out\wifiiot\Hi3861_wifiiot_app_allinone.bin。

备注:判断当前版本镜像是否集成acts测试套件方法:在map文件中查看对应.a是否被编译即可,out\wifiiot\Hi3861_wifiiot_app.map。

2,版本镜像烧录进开发板

3,测试步骤:

(1)使用串口工具登录开发板,并保存串口打印信息;

(2)重启设备,查看串口日志;

4,测试结果分析指导:

(1)基于串口打印日志进行分析;

(2)每个测试套件执行以:Start to run test suite:开始,以xx Tests xx Failures xx Ignored结束。

执行智慧视觉类设备(Ipcamera)acts测试用例

目前的用例执行采用nfs共享的方式,mount到单板去执行;

1,环境搭建

  1. 使用有限网线或无线将Ipcamera开发板与PC进行连接。

  2. Ipcamera开发板配置IP、子网掩码、网关,确保Ipcamera开发板与PC处于同一个网段。

  3. PC安装nfs服务器并完成注册,启动nfs服务。

  4. Ipcamera开发板配置mount命令,确保Ipcamera开发板可以访问PC端的nfs共享文件。

    格式:mount [nfs服务器IP]:[/nfs共享目录] [/Ipcamera开发板目录] nfs

    举例:

    mount 192.168.1.10:/nfs /nfs nfs

2,用例执行

(1)基于串口打印日志进行分析;

(2)每个测试套件执行以./测试模块.bin 触发用例执行。

涉及仓

xts_acts

xts_tools_lite

1
https://gitee.com/openharmony/docs.git
git@gitee.com:openharmony/docs.git
openharmony
docs
docs
master

Search