QuickCheck on RSpec

CIで何回も回すから味の出てくるテストケースを考えてみる にも書いたように、同値に区分されるテストデータの集合に対してテストを実施する場合、ランダムな値でテストデータのバリエーションを増やすことは現実的な選択肢としてありと思う。また、全網羅が難しいテスト対象の領域に対してこのようにランダムな値を適用することは現実的な選択肢になる。
※ランダム性は議論の範囲外

ここでは、以前から知られているQuickCheckを以下でRubyのコードを使ってためしていく。
また、先日書いた RSpecによるテストコードでパラメタライズドテストを記述していく と少し比較もしてみる。

Rubyだと、QuickCheckには以下のgemが個人的には良さそうだと感じた。
ただ、ある中身は実際にはrandを使ってたりと、比較的容易に実装可能なので、必要な箇所だけ独自で実装するのも良いかもしれない。
https://github.com/hayeah/rantly

このQuickCheckの目的自体は、先に書いた通り、ある集合領域に対するランダムな値を生成し、それをテストデータをしてテスト対象に与え、テスト対象を検査すること。ランダムに選択した値を与えることは、昔から経験則的に有効だということは知られている。

コードを実装しているときは、多くの場合、テストの設計まで頭が回らない。また、テストが書かれた場合も”通るべくして通る”テストしか書かれないことがおおい。そのため、例えばQuickCheckのようにランダムな値を与えると、CIを回しているうちに不具合を発見できる可能性もある。なお、私の経験上からも、不具合は境界値に含まれやすいことがおおい。

以下、QuickCheckの例。

テスト対象のコード

class Calculator
  def self.calculator arithmetic, num1, num2
    case arithmetic
    when 'plus'
      num1 + num2
    when 'sub'
      num1 - num2
    end
  end
end

Rantlyを使ったRSpec上でのQuickCheck。

require 'rantly'

## QuickCheck with Rantly
describe 'example' do
  let(:num_int1) { Rantly { integer } }
  let(:num_int2) { Rantly { integer } }
  let(:num_int3) { num_int1 + num_int2 }

  it 'num1 plus num2 is answer' do
    expect(Calculator.calculator('plus', num_int1, num_int2)).to eq num_int3
  end
end

パラメタライズドテストは、同一のテスト対象のコードに、振る舞いの変化するテストデータの集合から代表的なデータを選択・与え、それぞれの振る舞いを確認するときに有効な方法といえる。これにより、テスト対象がどのように振る舞うか、ということをSpecification By Exampleのようにテストを読んで理解することもできる。

QuickCheckのような形は、あるテスト対象のコードにいかなるテストデータを与えても、テストデータから一意に定まる結果しかかえってこないが全網羅するのが困難な場合なんかに有効。このとき、ランダムな値を与えていることは、テスト対象のコードに任意の値を与えれば良い、というように理解でき、テスト対象のコードへの理解も深まる。

また、特別なライブラリを使わず、特定の範囲内でランダムな文字列を生成するコードを以下に載せるので、興味のある方はのぞいてみてください。日本語も含んでいます。

require 'securerandom'
p SecureRandom.hex(16) #=> "9765cd85b96ae3a7e15192c67025694c"
p SecureRandom.base64(16) #=> "IQJpznsrGSkTOzSPxVWCoA=="
p SecureRandom.random_bytes(16) #=> "\xE7\xD8\x0F\x18\xA6\xB0\x9B+\x19QWl&\x10\x96\xED"
p SecureRandom.random_bytes(16).unpack("H*") #=> "cefe186e1edb4cacfdb777824b5b4edb"

def self.gen_rand_str(length = 20)
  a = ('0'..'9').to_a
  Array.new(length){a[rand(a.size)]}.join
end

def self.gen_rand_str(length = 20)
  a = ('a'..'z').to_a + ('A'..'Z').to_a + ('0'..'9').to_a
  Array.new(length){a[rand(a.size)]}.join
end

def self.gen_rand_str(length = 20)
  a = ('a'..'z').to_a + ('A'..'Z').to_a + ('0'..'9').to_a + "あいうえおかきくけこさしすせそたちつてとはひふへほはひふへほやゆよつわあいうえおかきくけこさしすせそたちつてとはひふへほはひふへほやゆよつわ亜哀挨愛曖悪握圧扱宛嵐安案暗以衣位囲医依委威為畏胃尉異移萎偉椅彙意違維慰遺緯域育一壱逸茨芋引印因咽姻員院淫陰飲隠韻右宇羽雨唄鬱畝浦運雲永泳英映栄営詠影鋭衛易疫益液駅悦越謁閲円延沿炎宴怨媛援園煙猿遠鉛塩演縁艶汚王凹央応往押旺欧殴桜翁奥横岡屋億憶臆虞乙俺卸音恩温穏下化火加可仮何花佳価果河苛科架夏家荷華菓貨渦過嫁暇禍靴寡歌箇稼課蚊牙瓦我画芽賀雅餓介回灰会快戒改怪拐悔海界皆械絵開階塊楷解潰壊懐諧貝外劾害崖涯街慨蓋該概骸垣柿各角拡革格核殻郭覚較隔閣確獲嚇穫学岳楽額顎掛潟括活喝渇割葛滑褐轄且株釜鎌刈干刊甘汗缶完肝官冠巻看陥乾勘患貫寒喚堪換敢棺款間閑勧寛幹感漢慣管関歓監緩憾還館環簡観韓艦鑑丸含岸岩玩眼頑顔願企伎危机気岐希忌汽奇祈季紀軌既記起飢鬼帰基寄規亀喜幾揮期棋貴棄毀旗器畿輝機騎技宜偽欺義疑儀戯擬犠議菊吉喫詰却客脚逆虐九久及弓丘旧休吸朽臼求究泣急級糾宮救球給嗅窮牛去巨居拒拠挙虚許距魚御漁凶共叫狂京享供協況峡挟狭恐恭胸脅強教郷境橋矯鏡競響驚仰暁業凝曲局極玉巾斤均近金菌勤琴筋僅禁緊錦謹襟吟銀区句苦駆具惧愚空偶遇隅串屈掘窟熊繰君訓勲薫軍郡群兄刑形系径茎係型契計恵啓掲渓経蛍敬景軽傾携継詣慶憬稽憩警鶏芸迎鯨隙劇撃激桁欠穴血決結傑潔月犬件見券肩建研県倹兼剣拳軒健険圏堅検嫌献絹遣権憲賢謙鍵繭顕験懸元幻玄言弦限原現舷減源厳己戸古呼固孤弧股虎故枯個庫湖雇誇鼓錮顧五互午呉後娯悟碁語誤護口工公勾孔功巧広甲交光向后好江考行坑孝抗攻更効幸拘肯侯厚恒洪皇紅荒郊香候校耕航貢降高康控梗黄喉慌港硬絞項溝鉱構綱酵稿興衡鋼講購乞号合拷剛傲豪克告谷刻国黒穀酷獄骨駒込頃今困昆恨根婚混痕紺魂墾懇左佐沙査砂唆差詐鎖座挫才再災妻采砕宰栽彩採済祭斎細菜最裁債催塞歳載際埼在材剤財罪崎作削昨柵索策酢搾錯咲冊札刷刹拶殺察撮擦雑皿三山参桟蚕惨産傘散算酸賛残斬暫士子支止氏仕史司四市矢旨死糸至伺志私使刺始姉枝祉肢姿思指施師恣紙脂視紫詞歯嗣試詩資飼誌雌摯賜諮示字寺次耳自似児事侍治持時滋慈辞磁餌璽鹿式識軸七叱失室疾執湿嫉漆質実芝写社車舎者射捨赦斜煮遮謝邪蛇尺借酌釈爵若弱寂手主守朱取狩首殊珠酒腫種趣寿受呪授需儒樹収囚州舟秀周宗拾秋臭修袖終羞習週就衆集愁酬醜蹴襲十汁充住柔重従渋銃獣縦叔祝宿淑粛縮塾熟出述術俊春瞬旬巡盾准殉純循順準潤遵処初所書庶暑署緒諸女如助序叙徐除小升少召匠床抄肖尚招承昇松沼昭宵将消症祥称笑唱商渉章紹訟勝掌晶焼焦硝粧詔証象傷奨照詳彰障憧衝賞償礁鐘上丈冗条状乗城浄剰常情場畳蒸縄壌嬢錠譲醸色拭食植殖飾触嘱織職辱尻心申伸臣芯身辛侵信津神唇娠振浸真針深紳進森診寝慎新審震薪親人刃仁尽迅甚陣尋腎須図水吹垂炊帥粋衰推酔遂睡穂随髄枢崇数据杉裾寸瀬是井世正生成西声制姓征性青斉政星牲省凄逝清盛婿晴勢聖誠精製誓静請整醒税夕斥石赤昔析席脊隻惜戚責跡積績籍切折拙窃接設雪摂節説舌絶千川仙占先宣専泉浅洗染扇栓旋船戦煎羨腺詮践箋銭潜線遷選薦繊鮮全前善然禅漸膳繕狙阻祖租素措粗組疎訴塑遡礎双壮早争走奏相荘草送倉捜挿桑巣掃曹曽爽窓創喪痩葬装僧想層総遭槽踪操燥霜騒藻造像増憎蔵贈臓即束足促則息捉速側測俗族属賊続卒率存村孫尊損遜他多汰打妥唾堕惰駄太対体耐待怠胎退帯泰堆袋逮替貸隊滞態戴大代台第題滝宅択沢卓拓託濯諾濁但達脱奪棚誰丹旦担単炭胆探淡短嘆端綻誕鍛団男段断弾暖談壇地池知値恥致遅痴稚置緻竹畜逐蓄築秩窒茶着嫡中仲虫沖宙忠抽注昼柱衷酎鋳駐著貯丁弔庁兆町長挑帳張彫眺釣頂鳥朝貼超腸跳徴嘲潮澄調聴懲直勅捗沈珍朕陳賃鎮追椎墜通痛塚漬坪爪鶴低呈廷弟定底抵邸亭貞帝訂庭逓停偵堤提程艇締諦泥的笛摘滴適敵溺迭哲鉄徹撤天典店点展添転塡田伝殿電斗吐妬徒途都渡塗賭土奴努度怒刀冬灯当投豆東到逃倒凍唐島桃討透党悼盗陶塔搭棟湯痘登答等筒統稲踏糖頭謄藤闘騰同洞胴動堂童道働銅導瞳峠匿特得督徳篤毒独読栃凸突届屯豚頓貪鈍曇丼那奈内梨謎鍋南軟難二尼弐匂肉虹日入乳尿任妊忍認寧熱年念捻粘燃悩納能脳農濃把波派破覇馬婆罵拝杯背肺俳配排敗廃輩売倍梅培陪媒買賠白伯拍泊迫剝舶博薄麦漠縛爆箱箸畑肌八鉢発髪伐抜罰閥反半氾犯帆汎伴判坂阪板版班畔般販斑飯搬煩頒範繁藩晩番蛮盤比皮妃否批彼披肥非卑飛疲秘被悲扉費碑罷避尾眉美備微鼻膝肘匹必泌筆姫百氷表俵票評漂標苗秒病描猫品浜貧賓頻敏瓶不夫父付布扶府怖阜附訃負赴浮婦符富普腐敷膚賦譜侮武部舞封風伏服副幅復福腹複覆払沸仏物粉紛雰噴墳憤奮分文聞丙平兵併並柄陛閉塀幣弊蔽餅米壁璧癖別蔑片辺返変偏遍編弁便勉歩保哺捕補舗母募墓慕暮簿方包芳邦奉宝抱放法泡胞俸倣峰砲崩訪報蜂豊飽褒縫亡乏忙坊妨忘防房肪某冒剖紡望傍帽棒貿貌暴膨謀頰北木朴牧睦僕墨撲没勃堀本奔翻凡盆麻摩磨魔毎妹枚昧埋幕膜枕又末抹万満慢漫未味魅岬密蜜脈妙民眠矛務無夢霧娘名命明迷冥盟銘鳴滅免面綿麺茂模毛妄盲耗猛網目黙門紋問冶夜野弥厄役約訳薬躍闇由油喩愉諭輸癒唯友有勇幽悠郵湧猶裕遊雄誘憂融優与予余誉預幼用羊妖洋要容庸揚揺葉陽溶腰様瘍踊窯養擁謡曜抑沃浴欲翌翼拉裸羅来雷頼絡落酪辣乱卵覧濫藍欄吏利里理痢裏履璃離陸立律慄略柳流留竜粒隆硫侶旅虜慮了両良料涼猟陵量僚領寮療瞭糧力緑林厘倫輪隣臨瑠涙累塁類令礼冷励戻例鈴零霊隷齢麗暦歴列劣烈裂恋連廉練錬呂炉賂路露老労弄郎朗浪廊楼漏籠六録麓論和話賄脇惑枠湾腕".split(//)
  Array.new(length){a[rand(a.size)]}.join
end

Objective-Cに対してだと以下が良いかも。CocoaPodsに対応。
https://github.com/yaakaito/NLTQuickCheck

Javaに関しては
https://github.com/pholser/junit-quickcheck
https://bitbucket.org/blob79/quickcheck/src/c8e12cc026fd6295966bf9ff5d20919961ff4149/README.md?at=default
付近が見つかるのですが、どうなのでしょう。

最後に付録として、Rantlyを使った乱数を以下に例としてのせておく。

> require 'rantly'
> Rantly.map(5) { integer }
=> [-277935692956708941,
 918210169069990250,
 406855258238108122,
 1482046018572340152,
 1059116810751674617]

> Rantly.each(5) { puts integer }
-1686306511197491276
464470401537633672
-924679469122264276
-878292278026558995
-9093519485269269

> Rantly.map(5) { string }
=> ["iXJCAk", ":\\WXG#", "h,Mh Rantly.map(5) { string:alpha }
=> ["mndwdu", "AZKhrC", "pLmkwK", "DKBmax", "BdctLP"]

> Rantly.map(5) { string:blank }
=> [" \t\t \t\t", "\t \t\t  ", "\t\t   \t", " \t\t   ", " \t\t \t "]

> Rantly.map(5) { string:cntrl }
=> ["\t\e\a\u0004\u001D\v",
 "\u001E\u0015\n\u0016\u0018\u0011",
 "\e\u001E\u000E\u0006\u007F\u0006",
 "\t\u000E\u0004\b\u001D\u0010",
 "\t\u0003\u0019\u0002\u0014\t"]

> Rantly.map(5) { string:digit }
=> ["034074", "529585", "423587", "673367", "085750"]

> Rantly.map(5) { string:graph }
=> ["qE_Xw\"", "xU>fo:", "|28v;k", "k>,QF$", "Zs3@~A"]

> Rantly.map(5) { string :lower }
=> ["lzgwsr", "vrphsn", "drrlle", "fyliyq", "yrvalf"]

> Rantly.map(5) { string :print }
=> ["S3$WL ", "`&i?M#", "2>3Vi^", "=l[6_T", "9}^**O"]

> Rantly.map(5) { string :punct }
=> ["@%)#(-", "(*)[!:", "/&%?;'", "{\"@\"?(", ".{*),."]

> Rantly.map(5) { string :space }
=> ["\f\f \r\r\n", "\n\r\t\r\f\v", "\f\f\n\r\v ", "\r\r\v\n\n\r", "\v\f\r \f\v"]

> Rantly.map(5) { string :upper }
=> ["VVUMSW", "CXVFOS", "WTVXNL", "EDZBWN", "CEVVYM"]

> Rantly.map(5) { string :xdigit }
=> ["DD5E9b", "006CBc", "8eF2F0", "E34F0e", "df6aA1"]

> Rantly.map(5) { string :ascii }
=> ["acv:11",
 "J?$\u0019\u000EE",
 "1;@\u0002(@",
 "1\u0011\u0003\u007FV\u0002",
 "2S\u0006\vZ`"]

> Rantly { freq :integer, :float, :string }
=> 0.26470712353632486

> Rantly { freq :integer, :float, :string }
=> ";qn66x"

> Rantly { freq :integer, :float, :string }
=> 1480295461981773153

> Rantly { sized(10) { string } }
=> "6O$RB-$fBv"

> Rantly { sized(10) { range(lo=1, hi=100 ) { integer } } }
=> 14