Industry Insights 블로그 시리즈
Jan Aarsaether
Senior Business Development Lead, Quality Assurance
Cliff Bilbrey
Solutions Engineer II
Defense contracts are often fixed-cost, with rigid deadlines and zero room for error. Program managers who undertake these contracts commit their teams to delivering complex systems while navigating stringent safety certification requirements and security constraints.
The difference between successful defense projects and those that struggle typically comes down to an effective quality assurance strategy. Teams that can prevent problems early, rather than only discovering them late in development, consistently outperform their peers.
국방 소프트웨어 개발을 위해 반드시 해결해야 할 4가지 과제
1. 안전 요구사항이 미치는 영향 관리하기 - 제목 수정 예정
과제: DO-178C와 같은 안전 인증에는 테스트 커버리지 요구사항이 포함되어 있어, 국방 프로그램의 일정과 예산에 큰 위험 요소가 됩니다. 필요한 커버리지를 수작업으로 확보하려면 막대한 엔지니어링 인력이 투입되며, 이 과정에서 만들어지는 방대한 문서는 감사관의 엄격한 검토까지 통과해야 합니다.
해결 방법: Coco와 같은 코드 커버리지 도구는 객관적이고 추적 가능한 근거를 제공하며, 수준이 높으면서도 실제로 자주 요구되는 커버리지 레벨인 구문 블록 커버리지(Statement Block), 분기 커버리지(Branch), 변형 조건/결정 커버리지(MC/DC, Modified Condition/Decision Coverage)를 지원합니다. Squish와 같은 UI 테스트 자동화 도구는 이 커버리지를 효율적으로 끌어올려 빈틈없이 채울 수 있도록 돕고, 실행되지 않아 제거해야 할 데드 코드(Dead Code)를 찾아냅니다. 두 도구 모두 다양한 안전 표준에 대응하는 도구 자격 인증 키트(Tool Qualification Kit)를 제공합니다. 여기에는 국제 항공 소프트웨어 개발 도구의 신뢰성을 검증하는 표준인 DO-330 자격 인증도 포함되어 있어, DO-178C 및 DO-278A 요구사항이 적용되는 프로그램에서도 두 도구를 사용할 수 있습니다.
기대 효과: 프로그램 관리자는 인증 기간을 더 짧고 예측 가능하게 운영할 수 있습니다. 엔지니어는 수정 비용이 훨씬 적게 드는 개발 초기 단계에서 테스트되지 않은 코드 경로를 미리 찾아낼 수 있습니다. 또한 감사 프로세스 전체가 더욱 체계적으로 진행되어, 막판에 문서를 몰아서 준비해야 하는 부담이 줄어듭니다.
2. Multi-Platform Testing Can Be Chaotic혼란에 빠지기 쉬운 멀티 플랫폼 테스트
과제: 국방 시스템은 Linux, VxWorks, INTEGRITY와 같은 다양한 독자 실시간 운영체제(Real-Time Operating System)를 사용합니다. 실시간 운영체제란 정해진 시간 안에 작업을 반드시 처리하도록 설계된 운영체제로, 이 때 오래전에 개발되어 지금도 운영 중인 레거시 Java 애플리케이션이 섞여 있는 경우도 많습니다. 이처럼 서로 다른 환경이 뒤섞인 상황에서 수작업으로 테스트를 진행하는 것은 현실적으로 어렵습니다. 그렇다고 자동화 도구를 쓰려 해도, 대부분의 테스트 자동화 도구는 국방 팀이 일하는 보안 환경, 즉 외부 네트워크와 차단된 오프라인 환경에서는 사용할 수 없는 경우가 많습니다.
해결 방법: Squish는 테스트를 관리하는 호스트와 실제 장비인 타겟에서 테스트를 실행하는 경량 구성 요소를 분리하는 방식으로, 이처럼 다양한 환경에서 자동화된 테스트를 지원합니다. 타겟에서 동작하는 구성 요소는 소스 코드에서 직접 빌드할 수 있어 대부분의 임베디드 환경에서 실행이 가능합니다. 또한 화면 이미지 비교에만 의존하는 도구와 달리, Squish는 화면 속 버튼이나 입력창 같은 요소(객체)를 직접 인식하는 객체 기반 방식으로 테스트를 만들기 때문에 화면 구성이 바뀌어도 테스트가 쉽게 깨지지 않습니다. 인터넷 연결 없이 완전한 오프라인 환경에서도 모든 기능을 사용할 수 있으며, 보안 네트워크 사용 요건도 충족합니다.
기대 효과: 여러 시스템 구성 요소를 하나로 합치는 과정에서 생기는 통합 문제를 개발 주기 초기에 발견할 수 있습니다. 모든 시스템 구성 요소에서 안정적으로 동작하는 테스트 자동화는 개발 전 과정에 걸쳐 시스템이 안정적이라는 구체적인 근거를 제공하며, 이는 발주 기관이 개발 진행 상황을 점검하는 국방 계약 검토 과정에서, 사업이 계획대로 진행되고 있음을 객관적으로 입증하는 핵심 자료가 됩니다.
3. Stopping the Silent Erosion of System Architecture and Code Quality소리 없이 진행되는 시스템 아키텍처 및 코드 품질 침식 방지하기
과제: 국방 프로그램은 수십 년에 걸쳐 이어지기도 합니다. 그동안 요구사항이 바뀌고 담당 팀이 교체되면서, 처음 설계한 구조와 원칙을 지키려는 규율이 점차 느슨해지는 '아키텍처 침식'이 일어납니다. 개별 구성 요소만 놓고 보면 코드가 깔끔하게 작성된 시스템이라도, 시간이 지나면서 전체 구조가 조금씩 무너질 수 있습니다. 그 결과 유지보수 비용이 늘어나고, 변화에 유연하게 대응하기 어려워지며, 규정 준수 측면에서도 위험과 문제가 생길 수 있습니다.
해결 방법: Axivion은 실제로 구현된 코드가 처음 의도한 설계대로 만들어졌는지 비교하는 아키텍처 검증 기능을 제공하며, 구조를 벗어난 부분이 굳어지기 전에 미리 찾아 알려줍니다. 또한 Axivion은 일반적인 정적 분석을 넘어, 공통 취약점 목록(CWE, Common Weakness Enumeration) 기반의 보안 점검을 제공하고, 각 프로그램의 요구사항에 맞춰 코딩 표준을 자유롭게 설정할 수 있도록 지원합니다.
기대 효과: 시스템이 운영되는 기간 내내 아키텍처의 일관성과 코드 품질을 유지할 수 있습니다. 개발팀은 구조나 코드 차원의 문제가 유지보수 및 규정 준수 문제로 커지기 전에 미리 발견할 수 있으며, 이를 통해 시스템을 실전에 배치한 이후 발생할 수 있는 막대한 재작업 비용, 시스템 다운, 제품 리콜의 위험을 줄일 수 있습니다.
4. Turn Raw Test Data into Actions
What is it about: As automated testing scales across various builds, targets, and configurations, the test data volume becomes overwhelming. Basic pass/fail metrics provide limited insight into where to focus the quality improvement efforts.
How to fix it: Test Center aggregates results from various test sources (Squish test runs and Coco coverage reports) to reveal meaningful patterns. Teams can track execution history across different configurations, identify unstable tests, and locate areas with recurring failures or declining coverage.
The outcome: Quality assurance resources focus on the highest-risk components based on empirical data rather than intuition. This systematic approach identifies root causes more efficiently to eliminate classes of defects, rather than just individual symptoms.
Focus efforts where you struggle most. Use what you've learned so far to guide the next steps with intention and insight.
White Paper
High Impact, Low Maintenance:
Test Automation Strategies
Learn more about test maintenance and the best practises, strategies and practices to achieve low-maintenance tests in automated GUI testing.
Download the Paper
Beyond Individual Tools: A QA Strategy for High Standards
These capabilities form a comprehensive approach to quality that addresses the unique demands of defense contracts:
- Paired code coverage analysis and automated testing to efficiently meet program contractual and quality requirements
- Adaptable tooling to support testing across diverse targets, including embedded hardware and real-time operating systems
- Unique static analysis capabilities paired with architecture verification, to maintain software integrity and compliance throughout system development
- Centralized results management to track and understand progress toward program objectives over time
For programs managing complex procurement processes, Qt Group's integrated toolchain offers a single-vendor solution designed specifically for restricted, security-conscious environments.
Winning Fixed-Price Contracts Through Proven Quality
In defense contracting, quality assurance shouldn't be merely about compliance; it should also provide concrete evidence that builds confidence in your ability to deliver on promises.
Program managers benefit from reduced certification time and earlier defect detection. Technical leads gain reliable testing across diverse platforms and automated standards enforcement. Engineering teams spend less time on manual validation and more time on innovation.
Most significantly, fixed-price proposals become more credible because they're supported by demonstrable quality processes rather than assumptions.
In short, choosing Qt Group means moving beyond "good enough" tools from multiple suppliers and adopting a single-vendor solution designed from day one to meet the defense industry's contractual rigor and mission-critical demands.
Next Steps
If your team faces compliance and certification challenges or needs to improve quality testing for complex embedded systems in secure environments, contact our team to discuss your specific and unique project requirements.
Contact us